[論文レビュー] Algorithmic Regularization in Learning Deep Homogeneous Models: Layers are Automatically Balanced

Simon S. Du, Wei Hu+1 more|arXiv (Cornell University)|Jun 4, 2018

Stochastic Gradient Optimization Techniques参考文献 30被引用数 22

ひとこと要約

この論文は、ReLUネットワークや低ランク行列因子分解などの深層同次モデルにおける勾配フローが、明示的な正則化がなくても、層間のノルムの差を保持することで、暗黙的に層ノルムをバランスさせるという事実を確立している。減衰するステップサイズを用いた勾配降下法は有界なグローバル最適解に収束することを証明しており、ランク1の因子分解では一定ステップサイズで線形収束が達成される。

ABSTRACT

We study the implicit regularization imposed by gradient descent for learning multi-layer homogeneous functions including feed-forward fully connected and convolutional deep neural networks with linear, ReLU or Leaky ReLU activation. We rigorously prove that gradient flow (i.e. gradient descent with infinitesimal step size) effectively enforces the differences between squared norms across different layers to remain invariant without any explicit regularization. This result implies that if the weights are initially small, gradient flow automatically balances the magnitudes of all layers. Using a discretization argument, we analyze gradient descent with positive step size for the non-convex low-rank asymmetric matrix factorization problem without any regularization. Inspired by our findings for gradient flow, we prove that gradient descent with step sizes $η_t = O\left(t^{-\left( \frac12+δ ight)} ight)$ ($0

研究の動機と目的

• ReLUネットワークや行列因子分解のような深層同次モデルにおける勾配降下法の暗黙的正則化効果を理解すること。
• 非凸的かつ同次の最適化問題における非有界な反復値の課題に取り組み、収束解析を困難にする要因を特定すること。
• 減衰するステップサイズを用いた勾配降下法が、自動的に層の大きさをバランスさせ、有界なグローバル解に収束することを示すこと。
• 一定ステップサイズを用いたランク1非対称行列因子分解において、線形収束が達成されることを証明すること。
• 勾配フロー下でのノルム差の不変性が、深層学習最適化における根本的なメカニズムであることを確立すること。

提案手法

• 無限小ステップサイズの勾配フローを分析し、層間の二乗ノルム差が不変のままであることを示す。
• 離散化の議論を用いて、ステップサイズ $\eta_t = O(t^{-(1/2 + \delta)})$（$0 < \delta \leq 1/2$）を用いた勾配降下法への結果の拡張を行う。
• ノルム差の変化と最適性からの逸脱を追跡するためのリャプノフ型関数を導入する。
• 重み行列を整合成分と直交成分に分解することで、収束ダイナミクスを分析する。
• 提案されたステップサイズスケジュール下で、層ノルムの比が有界であり収束することを証明する。
• ランク1因子分解の場合、一定ステップサイズ下での目的関数ギャップの減衰を分析し、線形収束レートを導出する。

実験結果

リサーチクエスチョン

• RQ1 同次的深層モデルにおける勾配降下法は、明示的な正則化がなくても、暗黙的に層ノルムをバランスさせるか？
• RQ2 非凸的かつ低ランクの行列因子化において、減衰するステップサイズを用いた勾配降下法は、有界なグローバル最適解に収束するか？
• RQ3 勾配降下法の収束において、ノルム不変性が果たす役割は何か？
• RQ4 ステップサイズの選択が、層ノルムのバランスと収束速度にどのように影響するか？
• RQ5 一定ステップサイズの勾配降下法は、ランク1非対称行列因子化において線形収束を達成できるか？

主な発見

• 勾配フローは、層間の二乗ノルム差を保持するため、初期値が小さい場合に自動的に層の大きさがバランスされる。
• 非凸的かつ低ランクの非対称行列因子化において、$\eta_t = O(t^{-(1/2 + \delta)})$ を用いた勾配降下法は、有界なグローバル最適解に収束する。
• 一定ステップサイズを用いた場合、ランク1非対称行列因子化において勾配降下法はグローバルに線形レートで最適解に収束する。
• 勾配降下法による暗黙の正則化が、非有界な反復値を防ぎ、明示的な制約がなくても収束を保証する。
• 解析により、ノルム差の不変性が、同次モデルにおける収束を可能にする主要なメカニズムであることが明らかになった。