[論文レビュー] Implicit Regularization and Convergence for Weight Normalization

Xiaoxia Wu, Edgar Dobriban+6 more|arXiv (Cornell University)|Nov 18, 2019

Sparse and Compressive Sensing Techniques参考文献 69被引用数 5

ひとこと要約

本稿は、過パラメータ化された最小二乗回帰における重み正規化（WN）とその変種である再パラメータ化された投影勾配降下法（rPGD）を研究し、初期化に依存せず最小 $̂²$ ノルム解に近い解に収束することから、それらが暗黙の正則化を実現することを示している。標準勾配降下法（GD）とは異なり、ゼロで初期化されていない場合でも、重みをスケールと方向の成分に再パラメータ化する非凸な再パラメータ化により、WN と rPGD は収束が安定している。

ABSTRACT

Normalization methods such as batch [Ioffe and Szegedy, 2015], weight [Salimansand Kingma, 2016], instance [Ulyanov et al., 2016], and layer normalization [Baet al., 2016] have been widely used in modern machine learning. Here, we study the weight normalization (WN) method [Salimans and Kingma, 2016] and a variant called reparametrized projected gradient descent (rPGD) for overparametrized least-squares regression. WN and rPGD reparametrize the weights with a scale g and a unit vector w and thus the objective function becomes non-convex. We show that this non-convex formulation has beneficial regularization effects compared to gradient descent on the original objective. These methods adaptively regularize the weights and converge close to the minimum l2 norm solution, even for initializations far from zero. For certain stepsizes of g and w , we show that they can converge close to the minimum norm solution. This is different from the behavior of gradient descent, which converges to the minimum norm solution only when started at a point in the range space of the feature matrix, and is thus more sensitive to initialization.

研究の動機と目的

• 過パラメータ化モデルにおける重み正規化（WN）と再パラメータ化された投影勾配降下法（rPGD）の暗黙の正則化効果を理解すること。
• 初期化がゼロでない場合でも、WN と rPGD が最小 $̂²$ ノルム解に近い解にどのように収束するかを特定すること。
• 標準勾配降下法（GD）と比較して、WN と rPGD の収束行動、特に初期化への感受性について調べること。
• WN と rPGD が幾何的収束速度を達成し、最小ノルム解に近づく理論的条件を確立すること。
• ステップサイズスケジューリングと再パラメータ化が、強固な暗黙の正則化を達成するために果たす役割を調査すること。

提案手法

• 重み行列 $x$ を $x = g w / \|w\|_2$ として再パラメータ化し、$g \in \mathbb{R}$ をスケール、$w \in \mathbb{R}^d$ を方向ベクトルとする。これにより、元の凸な最小二乗問題が非凸最適化問題に変換される。
• rPGD を提案する。これは、単位ノルム方向 $w$ に対して投影勾配降下法を実行し、同時にスケール $g$ を更新することで、各ステップで $\|w\|_2 = 1$ を保証する。
• WN と rPGD の連続時間極限を分析し、適切なステップサイズスケーリングのもとで、両者とも同じ流れ（WNフローと呼ばれる）に収束することを示した。
• スケールパラメータ $g$ を適切に制御すれば、非凸形式に起因する偽の停留点が存在しても、損失が幾何的レートで減少することを確立した。
• 2段階の学習率スケジューリング（初期段階では $g$ と $w$ を同時に更新し、その後は $g$ のみを更新）を用いることで、より広い初期化範囲で最小ノルム解に収束するよう改善した。
• 行列センシング問題における実験を通じて、定数および2段階の学習率を用いた場合に、GD、WN、rPGD の最終解の核ノルムを比較した。

実験結果

リサーチクエスチョン

• RQ1 標準勾配降下法とは異なり、初期化がゼロから大きく離れていても、重み正規化（WN）と rPGD は最小 $̂²$ ノルム解に収束するのか？
• RQ2 WN と rPGD における非凸な再パラメータ化は、最適化の地形と収束行動にどのように影響するか？
• RQ3 WN と rPGD の連続時間極限との関係は何か？ また、それらは暗黙の正則化とどのように関係するか？
• RQ4 2段階の学習率スケジューリングは、初期化の範囲が広がる場合でも最小ノルム解への収束を改善できるか？
• RQ5 過パラメータ化された最小二乗回帰問題において、WN と rPGD は標準勾配降下法と比較して、最終解のノルムと初期化への感受性の面で優れているか？

主な発見

• 標準勾配降下法とは異なり、初期化に依存せず、WN と rPGD は広い初期化範囲で最小 $̂²$ ノルム解に近い解に収束する。
• WN と rPGD の連続時間極限は同一であり、WNフローと呼ばれる。これにより、微小ステップサイズの極限において両者の等価性が確立された。
• スケールパラメータ $g$ を適切に制御すれば、非凸形式に起因する非グローバル停留点が存在しても、損失は幾何的レートで減少する。
• 2段階の学習率スケジューリング（初期段階で $g$ と $w$ を更新し、その後 $g$ のみを更新）により、初期スケール値 $g_0$ の範囲が広い場合でも、最小核ノルム解に近い解が得られる。
• 行列センシングの実験では、WN と rPGD は、特に2段階の学習率を用いる場合、初期化の範囲が広い範囲で標準GDよりも核ノルムが小さい解に収束し、優れている。
• 実験では、WN と rPGD の最終解のノルムが非常に近い値を示し、連続極限における理論的等価性を確認した。