[論文レビュー] Gradient descent aligns the layers of deep linear networks

Ziwei Ji, Matus Telgarsky|arXiv (Cornell University)|Oct 4, 2018

Sparse and Compressive Sensing Techniques参考文献 12被引用数 22

ひとこと要約

この論文は、線形分離可能なデータを用いた深層線形ネットワークにおける勾配降下法と勾配フローが、層の整合性を通じた暗黙の正則化を経て、リスクがゼロに収束し、最終的に最大マージン解に収束することを示している。各重み行列は漸近的にランク1となり、隣接する層が方向を一致させ、結果としてネットワーク全体の線形予測子が最大マージン解に収束する。この整合性は、追加の仮定なしに最適化ダイナミクスから自然に生じる。

ABSTRACT

This paper establishes risk convergence and asymptotic weight matrix alignment --- a form of implicit regularization --- of gradient flow and gradient descent when applied to deep linear networks on linearly separable data. In more detail, for gradient flow applied to strictly decreasing loss functions (with similar results for gradient descent with particular decreasing step sizes): (i) the risk converges to 0; (ii) the normalized i-th weight matrix asymptotically equals its rank-1 approximation $u_iv_i^{ op}$; (iii) these rank-1 matrices are aligned across layers, meaning $|v_{i+1}^{ op}u_i| o1$. In the case of the logistic loss (binary cross entropy), more can be said: the linear function induced by the network --- the product of its weight matrices --- converges to the same direction as the maximum margin solution. This last property was identified in prior work, but only under assumptions on gradient descent which here are implied by the alignment phenomenon.

研究の動機と目的

• 線形分離可能なデータを用いて訓練される深層線形ネットワークにおける勾配降下法の暗黙のバイアスを理解すること。
• 勾配フローおよび減少するステップサイズを用いた勾配降下法において、リスクがゼロに収束することを確立すること。
• 重み行列が漸近的にランク1となり、かつ隣接する層が一致することを証明し、暗黙の正則化を示すこと。
• ロジスティック損失の下で、最終的なネットワーク予測子が最大マージン解に収束することを示すこと。
• 深層線形ネットワークの最適化ダイナミクスにおいて、リスク最小化と構造的整合性を統合すること。

提案手法

• 単調に減少する損失関数における勾配フローを分析し、リスクがゼロに収束し、各重み行列が漸近的にランク1近似をとることを証明する。
• フロベニウスノルムの正規化を用いて、各重み行列の特異値ノルムとフロベニウスノルムの比が1に近づくことを示し、ランク1構造を示す。
• 隣接層の主特異ベクトル間の内積 |v_{i+1}^T u_i| → 1 を用いて、層間の整合性を証明する。
• ロジスティック損失の下で、重み行列の積 w_prod = WL...W1 が方向に関して最大マージン解 ū に収束することを示し、データの最適分離境界と一致することを示す。
• 勾配フローには微分方程式解析、勾配降下法には離散的再帰を用い、正規化および射影のダイナミクスで直交成分を制御する。
• 最大マージン方向の張る部分空間への直交射影を用いて、重み行列が最適部分空間に収束する様子を追跡する。

実験結果

リサーチクエスチョン

• RQ1 線形分離可能なデータを用いた深層線形ネットワークにおける勾配降下法は、リスクがゼロに収束するか？
• RQ2 勾配降下法の下で、深層線形ネットワークの個々の重み行列は漸近的にランク1になるか？
• RQ3 最適化の過程で、隣接層の主特異ベクトル間に整合性が生じるか？
• RQ4 ロジスティック損失の下で、最終的なネットワーク予測子は最大マージン解に収束するか？
• RQ5 明示的な正則化なしに、層の構造的整合性によって勾配降下法の暗黙の正則化を説明できるか？

主な発見

• 単調に減少する損失関数において、勾配フローおよび減少するステップサイズを用いた勾配降下法の下で、リスクはゼロに収束する。
• 各正規化された重み行列 Wi / ||Wi||_F は漸近的にそのランク1近似 ui vi^T に等しくなり、||Wi||_2 / ||Wi||_F → 1 が成り立つ。
• 隣接するランク1近似は整合する：|v_{i+1}^T ui| → 1 が層全体で成り立ち、方向の一貫性を示す。
• ロジスティック損失の下で、最終的な線形予測子 w_prod = WL...W1 は方向に関して最大マージン解 ū に収束する。
• 最初の層の右特異ベクトル v1 は最大マージン方向 ū に収束し、ネットワーク全体がこれに一致する。
• 整合性現象は、勾配降下法の暗黙の正則化を説明しており、直交成分が抑制され、ノルムが不活性な方向に浪費されないためである。