[論文レビュー] Implicit Regularization of Discrete Gradient Dynamics in Linear Neural Networks

Gauthier Gidel, Francis Bach+1 more|arXiv (Cornell University)|Apr 30, 2019

Sparse and Compressive Sensing Techniques参考文献 27被引用数 27

ひとこと要約

本稿では、2層線形ニューラルネットワークにおける離散勾配降下法が、回帰問題の低ランク成分を段階的に学習することで最適化を implicitly 正則化することを示している。これは、ランクを段階的に増加させる低ランク回帰に類似した挙動である。線形モデルが同時に成分を学習するのに対し、2層構造は階層的で段階的な学習経路を誘発し、implicit 正則化によって一般化性能を向上させる。

ABSTRACT

When optimizing over-parameterized models, such as deep neural networks, a large set of parameters can achieve zero training error. In such cases, the choice of the optimization algorithm and its respective hyper-parameters introduces biases that will lead to convergence to specific minimizers of the objective. Consequently, this choice can be considered as an implicit regularization for the training of over-parametrized models. In this work, we push this idea further by studying the discrete gradient dynamics of the training of a two-layer linear network with the least-squares loss. Using a time rescaling, we show that, with a vanishing initialization and a small enough step size, this dynamics sequentially learns the solutions of a reduced-rank regression with a gradually increasing rank.

研究の動機と目的

• 過パラメータ化された線形ネットワークにおける離散勾配ダイナミクスがどのように implicit 正則化を引き起こすかを理解すること。
• 2層線形ネットワークにおける最適化の経路が、特に成分の学習順序の観点から、線形モデルとどのように異なるかを調査すること。
• 2層ネットワークにおける勾配降下法が、段階的に増加するランク近似に類似した解に収束する理論的条件を確立すること。
• 実世界のデータセットおよび合成データ上で、モデルの仮定を経験的に検証すること。

提案手法

• 著者らは、最小二乗損失を用いた2層線形ネットワークにおける離散勾配ダイナミクスを分析し、時間スケーリングを用いて離散的・連続的ダイナミクスを結びつける。
• 従来の研究で用いられる標準的な可換性条件を弱めた「仮定1」を導入し、より広範な適用可能性を可能にする。
• 方法として、初期化が消えることと小さなステップサイズの下で、ダイナミクスが回帰解の寄与度の高い順に成分を段階的に学習することを証明する。
• 理論的分析により、離散的ダイナミクスが徐々に正則化が弱まる低ランク回帰問題の解に収束することを示す。
• 経験的検証では、合成データと実データセット（MNIST、CIFAR-10、ImageNet）を用い、仮定の妥当性を検証するための正規化された乖離指標（Δxy と Δx）を計算する。
• 再構成誤差とトレースノルムを時間経過とともにモニタリングし、2層ネットワークと線形モデルを比較することで、段階的な成分学習が確認される。

実験結果

リサーチクエスチョン

• RQ1 2層線形ネットワークにおける離散勾配降下法は、同時に学習するのではなく、階層的に成分を学習するか？
• RQ2 2層ネットワークの implicit 正則化は、一般化性能の観点から線形モデルと比べてどのように異なるか？
• RQ3 理論的分析に必要な仮定が実世界のデータセットにおいてどの程度成立するか？
• RQ4 2層ネットワークの離散的ダイナミクスが、低ランク回帰における連続的ダイナミクスの挙動をどの程度近似できるか？

主な発見

• 2層線形ネットワークの離散勾配ダイナミクスは、最適解の段階的な増加ランク近似に対応する回帰解の成分を段階的に学習する。
• この段階的学習経路は線形モデルには存在せず、すべての成分を同時に学習するため、明確な implicit 正則化効果が生じる。
• 仮定1、小さなステップサイズ、初期化の消える条件の下で、理論的結果によりダイナミクスが徐々に正則化が弱まる低ランク回帰問題の解に収束することが示された。
• MNIST、CIFAR-10、ImageNetにおける経験的評価では、正規化された乖離指標 Δxy と Δx が小さく（10^-2 から 10^-1 のオーダー）、仮定1が実際の状況でもある程度妥当であることが示された。
• 合成実験では、2層ネットワークのトレースノルムと再構成誤差が段階的な変化を示し、理論的連続的ダイナミクスと密接に一致したが、線形モデルは滑らかで階層的でない挙動を示した。
• 2層ネットワークは線形モデルよりも優れた行列再構成性能を達成しており、階層的学習経路による一般化性能の向上が示唆された。