[論文レビュー] Gradient Descent for Deep Matrix Factorization: Dynamics and Implicit Bias towards Low Rank

Hung-Hsu Chou, Carsten Gieshoff+2 more|arXiv (Cornell University)|Jan 1, 2020

Sparse and Compressive Sensing Techniques被引用数 2

ひとこと要約

この論文は、深層行列因子分解における勾配降下法のダイナミクスを分析し、明示的な正則化がなくても勾配降下法が低ランク構造への暗黙的なバイアスを示すことを示している。時間的変化する有効ランクの収束を通じて、真の行列の最良の低ランク近似に近い反復解が特定の時間間隔で達成されることを厳密に特定し、深層学習における暗黙的バイアスの理論的洞察を有効ランクダイナミクスを通じて提供する。

ABSTRACT

In deep learning, it is common to use more network parameters than training points. In such scenarioof over-parameterization, there are usually multiple networks that achieve zero training error so that thetraining algorithm induces an implicit bias on the computed solution. In practice, (stochastic) gradientdescent tends to prefer solutions which generalize well, which provides a possible explanation of thesuccess of deep learning. In this paper we analyze the dynamics of gradient descent in the simplifiedsetting of linear networks and of an estimation problem. Although we are not in an overparameterizedscenario, our analysis nevertheless provides insights into the phenomenon of implicit bias. In fact, wederive a rigorous analysis of the dynamics of vanilla gradient descent, and characterize the dynamicalconvergence of the spectrum. We are able to accurately locate time intervals where the effective rankof the iterates is close to the effective rank of a low-rank projection of the ground-truth matrix. Inpractice, those intervals can be used as criteria for early stopping if a certain regularity is desired. Wealso provide empirical evidence for implicit bias in more general scenarios, such as matrix sensing andrandom initialization. This suggests that deep learning prefers trajectories whose complexity (measuredin terms of effective rank) is monotonically increasing, which we believe is a fundamental concept for thetheoretical understanding of deep learning.

研究の動機と目的

• 深層行列因子分解における勾配降下法の暗黙的バイアスを理解すること、特に明示的な正則化がなくても低ランク解を好む傾向を特定すること。
• 線形ネットワークにおける勾配降下法の反復解の固有値スペクトルの動的変化を特徴づけること。
• 真の行列の最良のランク-L近似の有効ランクと一致する反復解の有効ランクが達成される正確な時間間隔を特定すること。
• 過パラメータ化された設定において、低複雑性の解を生成するための早期停止の理論的根拠を提供すること。
• 構造的初期化からより一般的な状況、すなわちランダム初期化や行列センシングへの洞察の拡張すること。

提案手法

• 目的行列がN個の行列に因子分解される行列因子分解問題に対して、小さなα > 0に対してαIとして初期化する、通常の勾配降下法を分析する。
• 連続時間の勾配フローを用いて、積行列の特異値および固有値のダイナミクスを時間経過とともに研究する。
• 反復解の有効ランクが真の行列の最良のランク-L近似の有効ランクに収束する明示的な時間間隔を導出する。
• スペクトル解析と摂動理論を用いて、特異値の進化と主要成分への収束を追跡する。
• MNISTデータセットを用いて、異なる因子分解深さ（N = 1から4）の下で実験的に検証し、特異値ダイナミクスと行列再構成を可視化する。
• 初期化をガウス分布のi.i.d.エントリを用いたランダム初期化に拡張し、初期化分散の変化に伴う収束および暗黙的バイアスの挙動を比較する。

実験結果

リサーチクエスチョン

• RQ1 深層行列因子分解における勾配降下法は、明示的な正則化がなくても低ランク解への暗黙的バイアスを示すか？
• RQ2 最良の低ランク近似の有効ランクと一致する反復解の有効ランクが達成される最適化中の時間間隔を解析的に特定できるか？
• RQ3 因子分解の深さ（N）が特異値の収束ダイナミクスおよび低ランク構造の出現に与える影響は何か？
• RQ4 ランダム初期化では、有効ランクの低ランクへの暗黙的バイアスがどの程度維持されるか？また、初期化分散の変化がこの挙動に与える影響は？
• RQ5 理論的枠組みは、部分観測を持つ低ランク行列センシングのような不定設定へ拡張可能か？

主な発見

• 深層行列因子分解における勾配降下法のダイナミクスは、反復解の有効ランクが単調に増加し、特定の時間間隔において真の行列の最良の低ランク近似の有効ランクと密接に一致することを示している。
• N ≥ 2の場合、特異値の収束が鋭くなり、より明確なダイナミクスと低ランク領域の特定が可能になる。
• MNISTにおける実験結果から、深さN = 3の因子分解では、浅い因子分解（N = 1または2）よりも早く明確な低ランク構造が得られること（例：k ∈ [1000, 2000]）が示された。
• 初期化分散が小さい場合（α = 0.1）、低ランク構造への暗黙的バイアスが明確に観察されたが、大きな分散（α = 1）では固有値近似の順序が乱れ、バイアスが弱まった。
• 目的行列cWの最良のランク1およびランク2近似は強力なベンチマークであり、勾配降下法の反復解はフロベニウスノルムにおいてこれらに近づくことから、低ランク優位性が確認された。
• 解析から、有効ランク収束が著しい時間間隔での早期停止が、低複雑性の解を生成する可能性を示しており、深層学習における正則化の実用的基準を提供する。