[論文レビュー] A case for new neural network smoothness constraints

Mihaela Rosca, Théophane Weber+2 more|arXiv (Cornell University)|Dec 14, 2020

Adversarial Robustness in Machine Learning参考文献 69被引用数 16

ひとこと要約

この論文は、タスク固有の、データモダリティに配慮した、学習可能な滑らかさ定義を統合することにより、ニューラルネットワークの滑らかさ制約におけるパラダイム転換を主張している。固定された、一様な正則化にとどまらず、滑らかさは適応的で学習可能な表現と度合いに基づいて定義されるべきである。これにより、生成モデルや強化学習における一般化性能、耐性、性能が向上する。

ABSTRACT

How sensitive should machine learning models be to input changes? We tackle the question of model smoothness and show that it is a useful inductive bias which aids generalization, adversarial robustness, generative modeling and reinforcement learning. We explore current methods of imposing smoothness constraints and observe they lack the flexibility to adapt to new tasks, they don't account for data modalities, they interact with losses, architectures and optimization in ways not yet fully understood. We conclude that new advances in the field are hinging on finding ways to incorporate data, tasks and learning into our definitions of smoothness.

研究の動機と目的

• 現在の滑らかさ正則化手法に内在する限界、すなわち、しばしば硬直的でタスクに依存せず、損失関数、アーキテクチャ、最適化との相互作用が十分に理解されていない点を是正すること。
• 滑らかさが一般化、敵対的耐性、生成モデル、強化学習において重要なインダクティブバイアスであると主張すること。
• 滑らかさ制約が固定されたノルムやヒューリスティクスではなく、学習可能な表現とタスク固有の度合いによって定義される、新しいフレームワークの提唱。
• 実際のモデル挙動を反映する、よりタイトなリプシッツ定数やヤコビアンに基づく度合いといった、滑らかさの新たな測定方法の必要性を強調すること。
• 滑らかさをモデルの複雑さと一般化の根幹的要素と位置づけ、タスク定義と表現学習と統合する必要があること。

提案手法

• モデル出力の上昇・低下変動を両方とも制限するバイリプシッツ制約を用い、逆写像性と多様性の保持を保証する。
• 生の入力に滑らかさ制約を適用するのでなく、学習された特徴表現 $ h(x) $ に適用し、$ \|f(h(x)) - f(h(y))\| \leq \|h(x) - h(y)\| $ とすることで、データ構造をよりよく捉える。
• 手作業による表現設計ではなく、タスクの関連性とデータモダリティへの配慮を保証するために、表現 $ h $ をエンドツーエンドで学習することを提唱する。
• ヤコビアンノルムと凸最適化技術（例：Fazlyabら [67]）を用いて滑らかさを測定し、層ごとの合成による緩い境界よりもタイトなリプシッツ境界を達成する。
• 強化学習やGANにおけるパラメトリックなクライミックス（評価関数）を、学習可能な損失関数として再定式化し、滑らかさを活用して学習の安定化と共変量シフトの緩和を図る。
• VCやラデマッハ複雑度を超えた、滑らかさのインダクティブバイアスを統合した新しいモデル複雑度測定法の必要性を提唱する。

実験結果

リサーチクエスチョン

• RQ1 滑らかさ制約を、モデル全体に共通する固定値ではなく、データモダリティとタスク要件に適応的にする方法は何か？
• RQ2 現在の滑らかさ正則化手法（例：重み減衰、ドロップアウト、データ拡張）が意味のある不変性を捉える上で抱える限界は何か？
• RQ3 深層ネットワークにおいて、緩いまたは合成による境界に依存する場合、滑らかさはどのように効果的に測定できるか？
• RQ4 表現空間 $ h(x) $ を学習することで、生成モデルにおける滑らかさの向上とモード崩壊の防止が可能になるか？
• RQ5 一般化性能をよりよく反映するため、滑らかさをモデル複雑度測定にどのように統合できるか？

主な発見

• $ L_2 $ 正則化、ドロップアウト、データ拡張といった現在の滑らかさ制約は効果的だが、解釈不能で適応性に欠け、明確な滑らかさの目的を持たない代理指標として機能している。
• バイリプシッツ制約は、モデル出力が入力変化に対して比例的に変化することを保証し、情報の保持と生成モデルにおけるモード崩壊の防止に寄与する。
• 勾配ノルム制約 $ \|\nabla_x f(x)\| \leq K $ を用いることでリプシッツ連続性を強制でき、活性化関数の導関数を用いた凸最適化により、よりタイトな境界が達成可能である。
• ヤコビアン行列を用いた滑らかさ測定により、次元ごとの感度分析が可能となり、グローバルなリプシッツ定数よりも洗練された理解が得られる。
• 生の入力ではなく特徴空間 $ h(x) $ における滑らかさは、分布シフトに対する処理の改善が示唆されており、より良い一般化性能と耐性をもたらす。
• クライミックス（例：GAN や強化学習におけるもの）における滑らかさは、学習の安定化と共変量シフトの低減に寄与する。これは、滑らかさが学習目的自体に埋め込まれるべきであることを示唆している。