[论文解读] Deep Learning by Scattering

Stéphane Mallat, Waldspurger, Irène|arXiv (Cornell University)|Jun 24, 2013

Advanced X-ray Imaging Techniques参考文献 4被引用 11

一句话总结

本文提出了一种基于 l² 池化的小波散射变换的数学框架，将深度网络建模为酉算子的迭代应用，随后取模平方，将深度网络建模为酉算子的迭代应用，随后取模平方。该框架证明了期望散射变换可提供对高维概率分布的压缩且稳定的表示，通过优化空间压缩以保留未标记数据的体积，并建立了与深度网络中稀疏性和泛化能力的理论联系。

ABSTRACT

We introduce general scattering transforms as mathematical models of deep neural networks with l2 pooling. Scattering networks iteratively apply complex valued unitary operators, and the pooling is performed by a complex modulus. An expected scattering defines a contractive representation of a high-dimensional probability distribution, which preserves its mean-square norm. We show that unsupervised learning can be casted as an optimization of the space contraction to preserve the volume occupied by unlabeled examples, at each layer of the network. Supervised learning and classification are performed with an averaged scattering, which provides scattering estimations for multiple classes.

研究动机与目标

• 开发一种使用酉算子和模平方的 l² 池化深度神经网络的数学模型。
• 将无监督表征学习形式化为保持未标记数据所占体积的空间压缩过程。
• 建立基于散射的表征与深度网络中稀疏性和泛化能力之间的联系。
• 通过分析期望散射变换和平均散射变换，为深度学习提供理论基础。

提出的方法

• 使用酉算子后接模平方操作，在深度网络架构中实现 l² 池化。
• 将期望散射变换定义为各层输出期望值的序列，形成输入分布的压缩表示。
• 应用酉算子与模平方操作的分层级联，以迭代方式减少变异性，同时保持信号能量。
• 使用平均散射变换从单一样本实现中估计表征，实现实际学习。
• 引入空间压缩原理，其中网络层在最小化范数损失的同时保持数据分布的集中性。
• 通过酉不变性与范数压缩论证，证明散射变换的收敛性与稳定性。

实验结果

研究问题

• RQ1 如何将具有 l² 池化的深度神经网络数学建模为一系列酉变换与模平方操作的序列？
• RQ2 空间压缩在各层中保持未标记数据分布所占体积方面起到什么作用？
• RQ3 散射变换如何与深度学习中的稀疏性和正则化相关联？
• RQ4 平均散射变换能否提供来自单一样本的期望散射的一致且稳定的估计？
• RQ5 对于散射网络的稳定性和收敛性，可以推导出哪些理论保证？

主要发现

• 期望散射变换定义了输入概率分布的压缩表示，其范数在各层间非增。
• 网络架构保持了输入的均方范数，确保了表征中的能量守恒。
• 空间压缩被优化以维持未标记样本所占的体积，从而与泛化性和稀疏性相关联。
• 平均散射变换提供了期望散射的一致估计，其误差界依赖于样本数量。
• 理论分析证明，散射变换在小扰动下保持收敛与稳定，其范数衰减受 (1 - M⁻¹)ᵐ 的界约束，其中 M 为分块平均算子的参数。
• 该框架建立了散射网络与稀疏正则化之间的数学联系，解释了为何稀疏性可提升深度网络性能。