[论文解读] Lipschitz Properties for Deep Convolutional Networks

Radu Bălan, Maneesh Singh+1 more|arXiv (Cornell University)|Jan 18, 2017

Neural Networks and Applications参考文献 6被引用 17

一句话总结

本文提出了一种计算深度卷积网络Lipschitz常数的新公式，证明该界依赖于滤波器结构和聚合方法。结果表明，使用路径特定的滤波器范数与p-范数聚合可获得比标准框架基界更紧、更精确的Lipschitz估计，从而提升了分类任务中特征提取器的稳定性分析。

ABSTRACT

In this paper we discuss the stability properties of convolutional neural networks. Convolutional neural networks are widely used in machine learning. In classification they are mainly used as feature extractors. Ideally, we expect similar features when the inputs are from the same class. That is, we hope to see a small change in the feature vector with respect to a deformation on the input signal. This can be established mathematically, and the key step is to derive the Lipschitz properties. Further, we establish that the stability results can be extended for more general networks. We give a formula for computing the Lipschitz bound, and compare it with other methods to show it is closer to the optimal value.

研究动机与目标

• 推导出比现有框架基方法更精确、更紧致的深度卷积网络Lipschitz常数上界。
• 分析滤波器设计与聚合方式（通过p-范数或逐点乘法）对网络在输入形变下稳定性的影响。
• 证明Lipschitz常数不仅由全局Bessel界决定，还依赖于每一层滤波器的内在结构。
• 提供一种可数值验证的Lipschitz界计算方法，反映实际网络行为，尤其在非理想框架条件下。
• 通过具有不相交频带支持的合成滤波器设计验证该方法，显示相比朴素上界有显著改进。

提出的方法

• 提出一种基于路径的散射网络公式化，其中每条路径q是从输入到输出的滤波器序列，并为每条路径定义散射传播算子U[q]。
• 提出一种基于路径上滤波器L1范数乘积与路径间输出p-范数聚合的新Lipschitz界公式。
• 利用不等式||Φ(f) - Φ(f̃)||₂ ≤ √(∑_q B̃_q ||f - f̃||₂²) 推导出比标准框架基方法更紧致的上界。
• 在相同层的滤波器间应用p-范数聚合（例如ℓ²），表明Lipschitz常数仅增加一个与滤波器数量相关的因子。
• 通过IFFT与数值积分进行数值计算，以计算具有不相交频带支持的滤波器的逆傅里叶变换的L1范数。
• 通过一百万个随机信号对的蒙特卡洛采样验证该界，以经验估计最坏情况下的||Φ(f) - Φ(f̃)||₂ / ||f - f̃||₂比值。

实验结果

研究问题

• RQ1 如何比标准框架基上界更精确地计算深度卷积网络的Lipschitz常数？
• RQ2 每层滤波器的结构——尤其是其频率局部化特性——在多大程度上影响网络对输入形变的稳定性？
• RQ3 对滤波器输出采用p-范数聚合是否能获得比独立处理所有滤波器更紧致的Lipschitz界？
• RQ4 与基于所有滤波器L1范数乘积的朴素上界相比，该方法表现如何？
• RQ5 在框架条件不满足上界为1的情况下，该新界在实际中的表现如何？

主要发现

• 对于具有不相交支持滤波器的合成网络，所提方法得到的Lipschitz界为Γ₃ = 1.1937，远比朴素界98.3更紧致。
• 第二种方法（使用归一化的Bessel界，B̃₁ = B̃₂ = B̃₄ = 1，B̃₃ = 2）给出的界为√2 ≈ 1.414，比第一种方法更合理，但仍比经验估计值松散。
• 第一种方法（基于所有滤波器L1范数的乘积）得到的界为98.3，严重高估，不能反映实际网络行为。
• 数值实验表明，输出差异与输入差异的实际最坏比值约为1.1937，与所提界高度吻合。
• 结果证实Lipschitz常数依赖于网络内部结构，而不仅依赖于全局框架界，路径特定与聚合感知的界对精度至关重要。
• 当上框架界不为1时，该方法依然有效，扩展了Lipschitz基稳定性分析在非严格理论假设下的适用范围。