[論文レビュー] Noether: The More Things Change, the More Stay the Same

Grzegorz Głuch, Rüdiger Urbanke|arXiv (Cornell University)|Apr 12, 2021

Stochastic Gradient Optimization Techniques参考文献 34被引用数 5

ひとこと要約

本稿は、ネーターの定理を用いてニューラルネットワークの対称性と保存量を系統的に結びつけるフレームワークを導入し、活性化関数、データオーグメンテーション、時間不変性といった対称性が勾配降下の軌道に制約をもたらすことを示している。これらの保存量は、重み行列の有界性、層間のバランス条件、カーネルに類似した収束行動をもたらし、標準的なカーネル法をはるかに超えた一般化と最適化の理解を深める。

ABSTRACT

Symmetries have proven to be important ingredients in the analysis of neural networks. So far their use has mostly been implicit or seemingly coincidental. We undertake a systematic study of the role that symmetry plays. In particular, we clarify how symmetry interacts with the learning algorithm. The key ingredient in our study is played by Noether's celebrated theorem which, informally speaking, states that symmetry leads to conserved quantities (e.g., conservation of energy or conservation of momentum). In the realm of neural networks under gradient descent, model symmetries imply restrictions on the gradient path. E.g., we show that symmetry of activation functions leads to boundedness of weight matrices, for the specific case of linear activations it leads to balance equations of consecutive layers, data augmentation leads to gradient paths that have "momentum"-type restrictions, and time symmetry leads to a version of the Neural Tangent Kernel. Symmetry alone does not specify the optimization path, but the more symmetries are contained in the model the more restrictions are imposed on the path. Since symmetry also implies over-parametrization, this in effect implies that some part of this over-parametrization is cancelled out by the existence of the conserved quantities. Symmetry can therefore be thought of as one further important tool in understanding the performance of neural networks under gradient descent.

研究の動機と目的

• 勾配降下の下での最適化ダイナミクスが、ニューラルネットワークの対称性によってどのように制約されるかを体系的・系統的に分析すること。
• 先行研究で観察された保存量（NTK や NAGF におけるものなど）の起源を、ネーターの定理と結びつけることにより明確化すること。
• 対称性が重みの進化に制約をもたらし、過パラメータ化を相殺することで有効なモデル複雑度を低下させることを示すこと。
• 連続的および離散的対称性が最適化の安定性、収束性、一般化に与える影響を調査すること。
• 連続的ダイナミクス（ODE）と離散的アルゴリズム（GD/SGD）の間のギャップを埋め、実際の最適化でも保存則が維持されることを示すこと。

提案手法

• 理論物理学におけるネーターの定理を応用し、ニューラルネットワークアーキテクチャ内の連続的対称性から保存量を導出する。
• 勾配フロー、NAGF、ND などの連続時間 ODE を用いて訓練ダイナミクスをモデル化し、ラグランジュ形式を用いて保存量を分析する。
• 同次的活性化関数下での重み行列のフロベニウスノルムの有界性や、線形活性化関数下でのバランス方程式といった、対称性に起因する制約を同定する。
• データオーグメンテーションが、勾配パスにモーメンタムに類似た制約をもたらす対称性を導入することを示す。
• 時間並進不変性を導出し、カーネルに類似した保存エネルギー量を導き、ニューラルトランジットカーネル（NTK）の挙動と関連付ける。
• 離散的最適化（GD/SGD）においても、ODEに基づく解析から得られた保存量が概ね保存されることを検証する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークアーキテクチャ内の連続的対称性が、勾配降下の下でどのように保存量を生じさせるか。
• RQ2 対称性が最適化経路をどのように制約するか、そして収束性と一般化に与える影響は何か。
• RQ3 ネーターの定理は、過パラメータ化されたネットワークにおけるカーネルに類似た挙動（例：NTK）の出現を説明できるか。
• RQ4 連続的対称性から導かれる保存則が、SGD などの離散的最適化アルゴリズムにどの程度まで保存されるか。
• RQ5 活性化、データオーグメンテーション、時間不変性といった異なる種類の対称性が、重みの進化にどのような構造的制約をもたらすか。

主な発見

• 活性化関数の対称性により、勾配降下の下でも重み行列のフロベニウスノルムが有界に保たれ、訓練全体にわたり制約が維持される。
• 線形活性化関数の場合、対称性が連続する層間のバランス方程式を生じさせ、エンドツーエンドの重み行列を単純化し、各 GD ステップで進捗が保証される。
• データオーグメンテーションが導入する対称性は、最適化経路をモーメンタムに類似た制約の下に閉じ込め、有効自由度を低減する。
• 最適化アルゴリズムの時間並進不変性から、カーネルに類似た保存エネルギー量が導かれ、ニューラルトランジットカーネル（NTK）と関連し、カーネルに類似た収束を説明する。
• 対称性から導かれる保存量は、過パラメータ化の一部を相殺し、有効なモデル複雑度を低下させる。
• 実験的検証により、離散的 GD や SGD においても保存量が概ね保存されていることが示され、離散化に対して強いロバストネスを示している。