[论文解读] Invariant Scattering Convolution Networks

Joan Bruna, Stéphane Mallat|arXiv (Cornell University)|Mar 5, 2012

Image Retrieval and Classification Techniques被引用 20

一句话总结

本文提出小波散射卷积网络，一种利用小波变换、模非线性与平均池化构建平移不变图像表征的深度学习架构。通过捕捉超越傅里叶功率谱的高阶统计矩，该方法在手写数字与纹理分类任务中实现最先进性能，使用PCA分类器在CUReT数据集上误差率低至0.2%。

ABSTRACT

A wavelet scattering network computes a translation invariant image representation, which is stable to deformations and preserves high frequency information for classification. It cascades wavelet transform convolutions with non-linear modulus and averaging operators. The first network layer outputs SIFT-type descriptors whereas the next layers provide complementary invariant information which improves classification. The mathematical analysis of wavelet scattering networks explains important properties of deep convolution networks for classification. A scattering representation of stationary processes incorporates higher order moments and can thus discriminate textures having the same Fourier power spectrum. State of the art classification results are obtained for handwritten digits and texture discrimination, using a Gaussian kernel SVM and a generative PCA classifier.

研究动机与目标

• 开发一种对小形变具有稳定性的平移不变图像表征，以解决基于傅里叶的不变表征的局限性。
• 通过引入可捕获高阶统计信息的深层结构，改进SIFT类描述子。
• 为深度卷积网络在分类任务中成功的原因提供数学基础解释。
• 通过散射系数引入更高阶矩，实现对具有相同傅里叶功率谱的纹理的区分。
• 在标准基准上，使用简单核分类器与生成分类器展示最先进分类性能。

提出的方法

• 通过级联小波变换、模运算与平均池化构建深层卷积网络，以实现平移不变性。
• 使用小波系数作为滤波器提取局部特征，随后应用模运算以在小形变下保持稳定性。
• 在空间区域上应用平均池化以降低方差，并在多尺度与多方向上生成不变表征。
• 为平稳过程引入一种散射表征，编码超越二阶统计量的高阶矩（最高至四阶）。
• 采用简化余弦变换以O(N log N)时间高效计算散射系数，其维度与SIFT相近。
• 将散射表征与PCA或SVM分类器结合，使用交叉验证选择最优尺度参数以减少方差。

实验结果

研究问题

• RQ1 如何设计一种深层卷积网络，以生成对小形变具有鲁棒性的稳定、平移不变表征？
• RQ2 为何散射网络中的深层结构能超越第一层SIFT类描述子提升分类性能？
• RQ3 散射网络能否通过捕获高阶统计矩，实现对具有相同傅里叶功率谱的纹理的区分？
• RQ4 基于固定非学习小波的架构在标准图像分类基准上，能在多大程度上超越学习型深度网络？
• RQ5 在准确率与稳定性方面，散射表征相较于SIFT、文字典与MRF模型等传统方法表现如何？

主要发现

• 使用PCA分类器且$ m_{\text{max}} = 2 $时，散射网络在CUReT纹理数据集上实现0.2%的误差率，优于先前最先进方法。
• 当$ m_{\text{max}} = 1 $时，误差率降至0.5%，表明一阶散射系数已提供优于加窗傅里叶谱的偏差-方差权衡。
• 该方法捕获四阶矩，可实现对具有相同二阶统计量的纹理的区分，如图5所示。
• 在MNIST与USPS数据集上，使用傅里叶谱基线时，误差率降低至1%，优于先前SVM与MRF模型的最先进结果。
• 散射变换的大小最多为SIFT描述子的三倍，且在$ O(N/\log N) $次操作内完成计算，计算效率高。
• 交叉验证选择图像宽度作为最优尺度$ 2^J $，证实散射估计方差随尺度增加而减小，与傅里叶谱相反。