[論文レビュー] Implicit Regularization in Deep Matrix Factorization

Sanjeev Arora, Nadav Cohen+2 more|arXiv (Cornell University)|May 31, 2019

Sparse and Compressive Sensing Techniques参考文献 51被引用数 68

ひとこと要約

要約: 深層線形行列因数分解における勾配降下が、核ノルム説明を超えた潜在的低ランクバイアスを強化し、単純なノルム表現だけでは十分でないことを示す。

ABSTRACT

Efforts to understand the generalization mystery in deep learning have led to the belief that gradient-based optimization induces a form of implicit regularization, a bias towards models of low "complexity." We study the implicit regularization of gradient descent over deep linear neural networks for matrix completion and sensing, a model referred to as deep matrix factorization. Our first finding, supported by theory and experiments, is that adding depth to a matrix factorization enhances an implicit tendency towards low-rank solutions, oftentimes leading to more accurate recovery. Secondly, we present theoretical and empirical arguments questioning a nascent view by which implicit regularization in matrix factorization can be captured using simple mathematical norms. Our results point to the possibility that the language of standard regularizers may not be rich enough to fully encompass the implicit regularization brought forth by gradient-based optimization.

研究の動機と目的

• 深層線形ネットワークによる行列 completion と sensing の暗黙的正則化の研究を動機づける。
• 深層因数分解の暗黙バイアスが核ノルムや Schatten ノルムのような標準ノルムで捉えられるかを評価する。
• 深さをまたぐ暗黙正則化子としての核ノルム最小化に関する仮説を理論的に拡張・検証する。
• 勾配流下で学習された積の行列の特異値・特異ベクトルのダイナミクスを特徴づける。
• 深さの効果とノルムベース予測を対比する実証的証拠を提供する。

提案手法

• 深さ N の深い行列因数分解における勾配流を、初期重みをほぼゼロに近い状態で研究する。
• 勾配流と核ノルム最小化を結ぶ既存結果の分析を、深さ2から任意の深さへ拡張する。
• 積行列 W(t) の特異値分解を導出し、勾配ダイナミクス下での変化を分析する。
• 特異値の進化方程式を導出する: dot{sigma}_r(t) = -N*(sigma_r^2(t))^{1-1/N} * <∇ℓ(W(t)), u_r(t)v_r^T(t)>, 深さに応じたダイナミクスを示す。
• U(t) と V(t) の結合微分方程式を用いて特異ベクトルを分析し、勾配の特異ベクトルと整列する条件を確立する。
• 行列完成と行列センシングの実験を行い、深さ2・深さ3 などを核ノルムのベースラインおよびグラウンドトゥルースと比較する。

実験結果

リサーチクエスチョン

• RQ1 深層行列因数分解における勾配降下は、深さ2の因数分解よりも強力な暗黙的正則化を示すか？
• RQ2 深層因数分解の暗黙の正則化は、核ノルムや Schatten 疎和ノルムのような標準ノルムで完全に捉えられるか？
• RQ3 訓練中の特異値/特異ベクトルの進化に深さ N はどう影響するか？
• RQ4 経験的結果は、仮説1（核ノルム最小化を暗黙の正則化として）を深さを跨いで支持するか、あるいは挑戦するか？
• RQ5 深層線形モデルのダイナミクスが一般化に与える実践的影響は何か？

主な発見

• 深さは、行列完成とセンシングにおける低ランク解への暗黙的傾向を高める。
• 核ノルム最小化は深い因数分解の暗黙的正則化を完全には捉えられない; Schatten p-ノルムは一貫してそれを説明しない。
• 勾配流下での特異値の進化は、大きな値を加速し、小さな値を減速させ、深さが増すほど効果が強い。
• 学習された積の特異ベクトルは、それらが定常時に勾配の特異ベクトルと整列し、勾配方向と因数分解ダイナミクスの結合を示す。
• データ不足の状況で深い因数分解が優れていることを示し、観測が豊富な場合には全ての深さがグラウンドトゥルース解へ収束する。」],
• table_headers:
• table_rows: