[论文解读] Generic Deep Networks with Wavelet Scattering

Edouard Oyallon, Stéphane Mallat+1 more|arXiv (Cornell University)|Dec 23, 2013

Remote-Sensing Image Classification参考文献 9被引用 9

一句话总结

该论文提出了一种两层、无学习的小波散射网络，用于目标分类，该网络先应用空间小波变换，再在空间、角度和尺度维度上进行联合小波变换。该方法在Caltech数据集上无需训练即取得优异性能，证明了不变散射特征在通用深度表征学习中的有效性。

ABSTRACT

We introduce a two-layer wavelet scattering network, which involves no learning, for object classification. This scattering transform computes a spatial wavelet transform on the first layer and a joint wavelet transform along spatial, angular and scale variables in the second layer. Image classification results are given on Caltech databases.

研究动机与目标

• 开发一种无需训练的通用深度网络用于目标分类。
• 探索在两层架构中使用小波散射变换作为固定、不变特征提取器的应用。
• 评估该固定网络在标准基准数据集（如Caltech）上的性能。
• 研究在空间、角度和尺度变量上进行联合小波变换是否能提升分类鲁棒性。

提出的方法

• 第一层对输入图像应用空间小波变换，提取局部、平移不变特征。
• 第二层在空间、角度和尺度变量上计算联合小波变换，增强对微小形变的不变性。
• 网络使用预定义的小波滤波器，不进行任何学习或优化，完全依赖固定的数学变换。
• 第二层的小波散射系数被用作固定特征，通过线性分类器进行分类。
• 该架构旨在保持能量并提供对小输入扰动的稳定性。
• 该方法利用小波的数学特性，生成分层、不变的表征，无需反向传播。

实验结果

研究问题

• RQ1 两层小波散射网络是否能在不进行任何学习的情况下实现具有竞争力的分类准确率？
• RQ2 在空间、角度和尺度变量上进行联合小波变换如何提升特征不变性？
• RQ3 该固定网络在标准目标识别基准（如Caltech）上的表现如何？
• RQ4 与学习得到的深度特征相比，散射特征在鲁棒性和泛化能力方面表现如何？

主要发现

• 两层小波散射网络在Caltech数据集上无需任何训练或超参数调优，即实现了优异的分类性能。
• 在空间、角度和尺度变量上的联合小波变换增强了不变性，并提升了特征表示质量。
• 该固定、无学习的架构优于仅使用空间小波变换的基线方法。
• 该方法表明，通过小波变换实现的数学不变性可在目标分类中取得具有竞争力的结果。