[論文レビュー] Implicit Regularization Towards Rank Minimization in ReLU Networks

Nadav Timor, Gal Vardi+1 more|arXiv (Cornell University)|Jan 30, 2022

Stochastic Gradient Optimization Techniques被引用数 5

ひとこと要約

この論文は、ReLUニューラルネットワークにおける暗黙の正則化を調査し、勾配フロー（GF）が浅いReLUネットワーク（例：深さ2、幅2）ではランク最小化を誘導しないものの、特定の条件下でより深い、過パラメータ化されたネットワークではそうなることを示している。主な結果として、平方損失または指数的尾部損失で訓練された深層ReLUネットワークにおけるGFは、スぺクトルノルム対フロベニウスノルム比の小さい方向への暗黙のバイアスおよびマージン最大化により、低ランクの重み行列を好むことが示された。

ABSTRACT

We study the conjectured relationship between the implicit regularization in neural networks, trained with gradient-based methods, and rank minimization of their weight matrices. Previously, it was proved that for linear networks (of depth 2 and vector-valued outputs), gradient flow (GF) w.r.t. the square loss acts as a rank minimization heuristic. However, understanding to what extent this generalizes to nonlinear networks is an open problem. In this paper, we focus on nonlinear ReLU networks, providing several new positive and negative results. On the negative side, we prove (and demonstrate empirically) that, unlike the linear case, GF on ReLU networks may no longer tend to minimize ranks, in a rather strong sense (even approximately, for "most" datasets of size 2). On the positive side, we reveal that ReLU networks of sufficient depth are provably biased towards low-rank solutions in several reasonable settings.

研究の動機と目的

• ReLUネットワークにおける勾配フロー（GF）が、線形ネットワークで観察されたように、低ランクの重み行列への暗黙の正則化を誘導するかどうかを調査すること。
• 非線形ReLUネットワークにおけるGFが、特に過パラメータ化された設定において、どのような条件下で低ランク解へのバイアスを示すかを特定すること。
• ランク最小化に失敗する浅いReLUネットワーク（ランク最小化が失敗する）におけるGFの振る舞いと、ランク最小化が成立するより深いネットワーク（ランク最小化が成立する）におけるGFの振る舞いを対比すること。
• 分類におけるマージン最大化と深層ReLUネットワークにおけるランク最小化との間の明示的な関係を形式化すること。
• 異なるネットワークアーキテクチャーや訓練目的において、ランク最小化バイアスの有無・無しを理論的および実験的に証明すること。

提案手法

• 平方損失を用いた深さ2、幅2のReLUネットワークにおける勾配フローのダイナミクスを分析し、入力角が (π/2, π) にあり、出力が線形独立であるデータセットでは、GFが低ランク解に収束しないことを証明する。
• 重み行列がバランスされている等価な深層ReLUネットワークの構築を導入し、勾配フロー下でのノルムおよびランクの振る舞いを分析する。
• 平方損失で訓練された深層ReLUネットワークにおいて、GFが重み行列のスぺクトルノルム対フロベニウスノルム比の平均が1に近い解に収束することを証明する。これは、安定ランクの最小化を示唆する。
• 指数的尾部損失で訓練された深層ReLUネットワークにおいて、マージン最大化がランク最小化を意味することを示し、重み行列が低ランクであるときにマージンが最大化されることを示す。
• AM-GM不等式およびノルムバランスの議論を用いて、スぺクトル対フロベニウスノルム比の下界を導出し、ノルム最小化とランク最小化の間の関係を結ぶ。
• 理論的結果の実験的妥当性を検証し、浅いネットワークではランク最小化が失敗し、より深いネットワークでは成功することを示す。

実験結果

リサーチクエスチョン

• RQ1 深さ2、幅2のReLUネットワークで平方損失を用いた勾配フローは、低ランクの重み行列への暗黙の正則化を誘導するか？
• RQ2 深層ReLUネットワークにおける勾配フローが、特に過パラメータ化された設定で低ランク解を好む条件は何か？
• RQ3 二値分類におけるマージン最大化と深層ReLUネットワークにおけるランク最小化との間に明示的な関係があるか？
• RQ4 ReLUネットワークにおける勾配フローの暗黙のバイアスは、安定ランク最小化によって特徴付けられるか？仮定は何か？
• RQ5 ReLUネットワークの深さと幅は、勾配フローが低ランクの重み行列を生成する傾向にどのように影響するか？

主な発見

• 深さ2、幅2のReLUネットワークで平方損失を用いた場合、入力角が (π/2, π) にあり、出力が線形独立である限り、GFは低ランク解に収束しない。
• 実験的に、このような浅いネットワークにおけるGFは、妥当な近似ランク指標において、少なくとも定数の確率で低ランク解を生成しない。
• 平方損失で訓練された深層ReLUネットワークでは、GFが重み行列のスぺクトルノルム対フロベニウスノルム比の平均が1に近い解に収束する。これは、安定ランク最小化を示唆する。
• 指数的尾部損失で訓練された深層ReLUネットワークでは、マージン最大化がランク最小化を意味し、重み行列が低ランクであるときにマージンが最大化される。
• 理論的分析により、深層ネットワークにおけるノルム最小化が低安定ランクをもたらし、この振る舞いは重み行列がバランスされた構成でも保持されることを示した。
• 本論文は、深く過パラメータ化されたReLUネットワークが、浅いネットワークがそうでないのと同様に、低ランク解への暗黙のバイアスを示すことを確立した。