[論文レビュー] Implicit Regularization in Deep Learning May Not Be Explainable by Norms

Noam Razin, Nadav Cohen|arXiv (Cornell University)|May 13, 2020

Sparse and Compressive Sensing Techniques参考文献 86被引用数 46

ひとこと要約

論文は、勾配流がすべてのノルムを無限大へと駆動しながらランクを最小化する自然な行列因数分解問題が存在することを証明し、ノルムベースの暗黙的正則化の説明を覆す；ランク最小化をよりもっともらしい説明として強調し、テンソル因数分解を含む経験的サポートを提供する。

ABSTRACT

Mathematically characterizing the implicit regularization induced by gradient-based optimization is a longstanding pursuit in the theory of deep learning. A widespread hope is that a characterization based on minimization of norms may apply, and a standard test-bed for studying this prospect is matrix factorization (matrix completion via linear neural networks). It is an open question whether norms can explain the implicit regularization in matrix factorization. The current paper resolves this open question in the negative, by proving that there exist natural matrix factorization problems on which the implicit regularization drives all norms (and quasi-norms) towards infinity. Our results suggest that, rather than perceiving the implicit regularization via norms, a potentially more useful interpretation is minimization of rank. We demonstrate empirically that this interpretation extends to a certain class of non-linear neural networks, and hypothesize that it may be key to explaining generalization in deep learning.

研究の動機と目的

• 勾配ベースのディープ学習における暗黙的正則化の謎を動機づけ、分析する。
• 行列因数分解のノルム最小化によって暗黙的正則化を説明するという考えを否定する。
• すべてのノルムが無限大へ発散しつつランクが減少する問題が存在することを示す。
• 一般性とディープモデルへの適用可能性を評価するため、テンソル因数分解への調査を拡張する。

提案手法

• 深さ L ≥ 2 のモデル化と、隠れ次元を制約なしに設定する。
• 観測された行列のエントリを適合させる過剰パラメータ化された目的関数の勾配流ダイナミクスを分析する。
• 入力–出力写像を表すために積 W_{L:1} = W_L W_{L-1} ... W_1 を使用する（Equation 3）。
• W_{L:1} とその特異値を支配する微分方程式を導くために、バランス初期化を仮定する。
• ノルムが増大しつつ損失が減少する一方で実効ランクが縮小する理論的境界を確立する（Theorem 1）。
• 所見を経験的に裏付け、テンソル因数分解への調査を拡張する。

実験結果

リサーチクエスチョン

• RQ1 ディープマトリックス因数分解の勾配ベースの最適化は、暗黙的正則化として行列ノルム（または準ノルム）の最小化によって特徴付けられると言えるか。
• RQ2 すべてのノルムが無限大へ発散しつつランクが最小化される自然な行列完成設定は存在し、ノルムベースの説明と矛盾するか。
• RQ3 ノルム最小化よりもランク焦点の解釈が、線形/非線形アーキテクチャの汎化をよりよく説明するか。
• RQ4 同様の暗黙的正則化現象がテンソル因数分解や関連する非線形ネットワークへ拡張されるか。
• RQ5 観測値と初期値の摂動に対するこれらの現象の頑健性はどの程度か。

主な発見

• 深いマトリックス因数分解に対する勾配流が、ランクを減少させつつすべてのノルムを無限大へ駆動する行列完成問題が存在する。
• この挙動はConjecture 2を裏付け、ノルムは最小化されず発散し得ることを示し、ノルムベースの説明とは対照的である。
• 初期化時の積行列の正の行列式が、損失減少中のノルム成長とランク最小化を導く（Theorem 1）。
• 一般的な乱数初期化の下でこの現象が確率0.5で成り立つ（Proposition 3）。
• Corollary 1はグローバルな損失最小化が、ノルムが無限大へ発散する一方、実効ランクとinfimal rankへの距離がランク最小化を示すことを述べる。
• 頑健性の結果（Theorem 2）は、観測値と位置の摂動下でもこの挙動が持続することを示す。