[论文解读] A case for new neural network smoothness constraints

Mihaela Rosca, Théophane Weber+2 more|arXiv (Cornell University)|Dec 14, 2020

Adversarial Robustness in Machine Learning参考文献 69被引用 16

一句话总结

本文主张通过整合任务特定、模态感知且可学习的平滑性定义，推动神经网络平滑性约束范式的转变——超越僵化、通用的正则化方法。提出平滑性应通过自适应的、可学习的表征与度量来定义，从而在生成建模和强化学习中提升泛化能力、鲁棒性与性能。

ABSTRACT

How sensitive should machine learning models be to input changes? We tackle the question of model smoothness and show that it is a useful inductive bias which aids generalization, adversarial robustness, generative modeling and reinforcement learning. We explore current methods of imposing smoothness constraints and observe they lack the flexibility to adapt to new tasks, they don't account for data modalities, they interact with losses, architectures and optimization in ways not yet fully understood. We conclude that new advances in the field are hinging on finding ways to incorporate data, tasks and learning into our definitions of smoothness.

研究动机与目标

• 解决当前平滑性正则化技术的局限性，这些技术通常僵化、与任务无关，且其与损失函数、网络结构及优化过程的交互机制尚不清晰。
• 论证平滑性是泛化、对抗鲁棒性、生成建模和强化学习中的关键归纳偏置。
• 倡导一种新框架，即通过可学习的表征与任务特定的度量来定义平滑性约束，而非依赖固定的范数或启发式方法。
• 强调需要新的平滑性度量方式，如更紧致的Lipschitz界和基于雅可比矩阵的度量，以更真实地反映模型行为。
• 将平滑性定位为模型复杂度与泛化能力的核心组成部分，需与任务定义和表征学习相融合。

提出的方法

• 提出使用双Lipschitz约束，以同时限制模型输出相对于输入变化的上下界变化，确保可逆性与多样性保持。
• 引入在学习到的特征表征 $ h(x) $ 上施加平滑性约束的思想，其中 $ \|f(h(x)) - f(h(y))\| \leq \|h(x) - h(y)\| $，以更好地捕捉数据结构。
• 主张端到端地学习表征 $ h $，而非手工设计，以确保任务相关性与数据模态感知能力。
• 提出通过雅可比矩阵范数与凸优化技术（如 Fazlyab 等 [67]）来度量平滑性，以获得比逐层组合更紧致的Lipschitz界。
• 将强化学习与生成对抗网络中的参数化评判器重新框架化为可学习的损失函数，利用平滑性稳定训练并缓解协变量偏移。
• 呼吁发展新的模型复杂度度量方式，将平滑性归纳偏置纳入考量，超越VC或Rademacher复杂度。

实验结果

研究问题

• RQ1 如何使平滑性约束适应数据模态与任务需求，而非在不同模型间保持固定？
• RQ2 当前平滑性正则化技术（如权重衰减、Dropout、数据增强）在捕捉有意义不变性方面的局限性是什么？
• RQ3 在依赖松散或组合式界的情况下，如何有效度量深度网络中的平滑性？
• RQ4 学习表征空间 $ h(x) $ 是否能改善平滑性并防止生成模型中的模式崩溃？
• RQ5 如何将平滑性整合进模型复杂度度量中，以更准确地反映泛化性能？

主要发现

• 当前的平滑性约束（如 $ L_2 $ 正则化、Dropout、数据增强）虽有效，但缺乏可解释性与适应性，常作为无明确平滑性目标的代理，效果模糊。
• 双Lipschitz约束可确保模型输出随输入变化成比例变化，从而保持信息完整性，并防止生成模型中的模式崩溃。
• 可通过梯度范数约束 $ \|\nabla_x f(x)\| \leq K $ 强制实现Lipschitz连续性，且利用激活导数的凸优化可获得更紧致的界。
• 通过雅可比矩阵度量平滑性可实现逐维敏感性分析，相比全局Lipschitz常数，提供更细致的理解。
• 相较于原始输入空间，特征空间 $ h(x) $ 中的平滑性可带来更好的泛化与鲁棒性，如在分布偏移处理中表现更优。
• 评判器（如GAN或RL中的）中的平滑性可稳定训练并减少协变量偏移，表明平滑性应被内嵌至学习目标本身。