[論文レビュー] Provable Benefit of Orthogonal Initialization in Optimizing Deep Linear Networks

Wei Hu, Lechao Xiao+1 more|arXiv (Cornell University)|Jan 16, 2020

Speech Recognition and Synthesis参考文献 30被引用数 60

ひとこと要約

論文は正交初期化が深さに依存しない幅の要件で勾配降下の収束を速めることを証明する。深さとともに幅を増やす必要がある Gaussian 初期化とは対照的。

ABSTRACT

The selection of initial parameter values for gradient-based optimization of deep neural networks is one of the most impactful hyperparameter choices in deep learning systems, affecting both convergence times and model performance. Yet despite significant empirical and theoretical analysis, relatively little has been proved about the concrete effects of different initialization schemes. In this work, we analyze the effect of initialization in deep linear networks, and provide for the first time a rigorous proof that drawing the initial weights from the orthogonal group speeds up convergence relative to the standard Gaussian initialization with iid weights. We show that for deep networks, the width needed for efficient convergence to a global minimum with orthogonal initializations is independent of the depth, whereas the width needed for efficient convergence with Gaussian initializations scales linearly in the depth. Our results demonstrate how the benefits of a good initialization can persist throughout learning, suggesting an explanation for the recent empirical successes found by initializing very deep non-linear networks according to the principle of dynamical isometry.

研究の動機と目的

• 初期化スキームが深層線形ネットワークにおける勾配降下の収束へ与える影響を評価する。
• 正交初期化と Gaussian 初期化の収束速度を厳密に比較する。
• 異なる初期化の下で訓練を効率的に行うための幅と深さのトレードオフを特徴づける。

提案手法

• W1,...,WLを持つ L 層の深層線形ネットワークの勾配降下ダイナミクスを解析する。
• 特定のスケーリングで正交に重みを初期化し、E||f(x;W...W1)||^2 = ||x||^2 となるようにする。
• 正交初期化と十分な幅 m で訓練損失が深さに依存せずグローバル最小値へ収束することを示す。
• Gaussian 初期化と対比し、Gaussian 初期化では効率的な収束のために必要な幅が深さに線形にスケールすることを示す。
• 訓練中の出力変化を追跡し特性値を境界付ける時間依存の PSD 行列フレームワークを用いる。

実験結果

リサーチクエスチョン

• RQ1 正交初期化は Gaussian 初期化と比較して深層線形ネットワークにおける勾配降下の収束を加速するか？
• RQ2 正交 vs Gaussian 初期化の下で効率的な収束を保証するために層幅（隠れ幅 m）は深さ L に対してどのようにスケールすべきか？
• RQ3 初期化が深さと幅の収束率の依存性に与える影響は？
• RQ4 深さに依存しない幅要件を正交初期化が実現可能か？とび深さ独立の幅要件が得られるか？

主な発見

• 正交初期化は深さ L に依存しない幅 m で効率的な収束を実現できる。
• Gaussian 初期化は効率的な収束のために幅が深さに線形にスケールする必要がある（深さが小さい場合を除く）。
• 正交初期化では適切な学習率の下で反復回数とともに損失対最適解の比が幾何的に減少する。
• 幅が深さに比して不十分だと Gaussian 初期化では収束時間が指数的に長くなる可能性がある。
• 経験的実験は理論的結果を裏付け、正交初期化に対して深さ独立の幅要件、Gaussian 初期化には深さ依存の幅を示す。