[論文レビュー] Towards Resolving the Implicit Bias of Gradient Descent for Matrix Factorization: Greedy Low-Rank Learning

Zhiyuan Li, Yuping Luo+1 more|arXiv (Cornell University)|Dec 17, 2020

Face and Expression Recognition参考文献 40被引用数 13

ひとこと要約

本稿では、無限小初期化における深さ2の行列分解における勾配フローが、グリーディランク最小化アルゴリズムであるグリーディロー・ランク・ラーニング（GLRL）と数学的に同等であると提唱しており、核ノルム最小化よりもより表現力のある勾配降下の暗黙的バイアスの特徴付けを提供している。さらに、より深いネットワーク（深さ ≥ 3）では、このランク最小化行動が強化され、実用的な初期化スケールでも有効であることが示され、勾配フローが核ノルムを最小化するという仮説に対して反例が提示されている。

ABSTRACT

Matrix factorization is a simple and natural test-bed to investigate the implicit regularization of gradient descent. Gunasekar et al. (2017) conjectured that Gradient Flow with infinitesimal initialization converges to the solution that minimizes the nuclear norm, but a series of recent papers argued that the language of norm minimization is not sufficient to give a full characterization for the implicit regularization. In this work, we provide theoretical and empirical evidence that for depth-2 matrix factorization, gradient flow with infinitesimal initialization is mathematically equivalent to a simple heuristic rank minimization algorithm, Greedy Low-Rank Learning, under some reasonable assumptions. This generalizes the rank minimization view from previous works to a much broader setting and enables us to construct counter-examples to refute the conjecture from Gunasekar et al. (2017). We also extend the results to the case where depth $\ge 3$, and we show that the benefit of being deeper is that the above convergence has a much weaker dependence over initialization magnitude so that this rank minimization is more likely to take effect for initialization with practical scale.

研究の動機と目的

• 行列分解における勾配降下の暗黙的バイアスを解明すること、特に深層ニューラルネットワークの文脈において。
• 勾配フローが核ノルムを最小化するという仮説を反証する反例を提示すること。
• グリーディロー・ランク・ラーニング（GLRL）を介した暗黙的正則化の新たな特徴付けを提唱・分析すること。
• 深さ ≥ 3 の行列分解への分析を拡張し、深さが初期化スケールへの依存性を軽減することを示すこと。
• 理論的発見を実験的に検証すること。

提案手法

• グリーディランク最小化アルゴリズムであるグリーディロー・ランク・ラーニング（GLRL）を提唱し、収束するまで段階的にランク制約を増加させるヒューリスティックなアルゴリズムである。
• 特定の仮定の下で、無限小初期化における勾配フローとGLRLとの数学的同等性を確立する。
• リャプノフ風の解析と微分不等式技術を用いて、最適化軌道の進化をバウンディングする。
• 摂動論的アプローチを適用し、初期学習段階において勾配フローの軌道がGLRLパスを非常によく追うことを示す。
• 時間に依存するノルム分解を導入し、重み行列の低ランク成分と高ランク成分を分離する。
• アイデンティティ初期化と深さに依存するスケーリングを含むパラメータ化を用いて、深さ行列分解を分析する。

実験結果

リサーチクエスチョン

• RQ1 行列分解における勾配フローはランク最小化プロセスと同等であるか？
• RQ2 勾配降下の暗黙的バイアスは、ノルム最小化よりもランク最小化によってより良く特徴付けられるか？
• RQ3 深さは初期化スケールへのランク最小化のロバストネスにどのように影響するか？
• RQ4 核ノルム最小化仮説を反証する反例を構築できるか？
• RQ5 GLRLフレームワークは、これまでに研究された特殊ケースを超えて一般化可能か？

主な発見

• 深さ2の行列分解において、無限小初期化における勾配フローは、グリーディロー・ランク・ラーニング（GLRL）と数学的に同等である。
• 本稿では、Gunasekarら（2017）の仮説である「勾配フローは核ノルムを最小化する」という仮説を反証する反例を構築した。
• 深さ ≥ 3 の場合、勾配フローの暗黙的バイアスは初期化スケールへの依存性が著しく弱まり、実用的な初期化スケールでもランク最小化が成立しやすくなる。
• 理論的解析により、初期学習段階において勾配フローの軌道が、有限初期化でも深さ付きGLRLの変種に収束することが示された。
• 付録Cにおける実験的検証により、同等性とランク最小化の挙動に関する理論的予測が確認された。
• GLRLフレームワークは、ノルムベースの記述よりも暗黙的正則化をより表現力豊かに特徴付けできており、特に特異値の非一様なダイナミクスを捉えるのに優れている。