[論文レビュー] Convergence of Gradient Descent on Separable Data

Mor Shpigel Nacson, Jason D. Lee+4 more|arXiv (Cornell University)|Mar 5, 2018

Stochastic Gradient Optimization Techniques参考文献 17被引用数 29

ひとこと要約

この論文は、多項式より尾が長い損失関数（ロジスティック損失を含む）に対して、分離可能なデータにおける勾配降下法が、方向に関してL2最大マージン分離器に収束することを確立している。指数的尾を持つ損失関数では、適応的ステップサイズを用いることで、固定ステップサイズの標準的であるO(1/log t)の収束速度よりも著しく速いO(log t / √t)の最適収束速度が達成されることを証明している。

ABSTRACT

We provide a detailed study on the implicit bias of gradient descent when optimizing loss functions with strictly monotone tails, such as the logistic loss, over separable datasets. We look at two basic questions: (a) what are the conditions on the tail of the loss function under which gradient descent converges in the direction of the $L_2$ maximum-margin separator? (b) how does the rate of margin convergence depend on the tail of the loss function and the choice of the step size? We show that for a large family of super-polynomial tailed losses, gradient descent iterates on linear networks of any depth converge in the direction of $L_2$ maximum-margin solution, while this does not hold for losses with heavier tails. Within this family, for simple linear models we show that the optimal rates with fixed step size is indeed obtained for the commonly used exponentially tailed losses such as logistic loss. However, with a fixed step size the optimal convergence rate is extremely slow as $1/\log(t)$, as also proved in Soudry et al. (2018). For linear models with exponential loss, we further prove that the convergence rate could be improved to $\log (t) /\sqrt{t}$ by using aggressive step sizes that compensates for the rapidly vanishing gradients. Numerical results suggest this method might be useful for deep networks.

研究の動機と目的

• 分離可能なデータにおける正則化なし、厳密に単調な損失関数を用いた線形分類における勾配降下法の暗黙的バイアスを理解すること。
• 勾配降下法がL2最大マージン分離器に収束するための損失関数の尾に関する条件を特定すること。
• 最大マージン解への収束速度が損失関数の尾とステップサイズの選択にどのように依存するかを特定すること。
• 深層線形ネットワークへの分析を拡張し、深さが収束速度に与える影響を調査すること。
• 適応的ステップサイズ戦略が、標準的なO(1/log t)の速度を超えて最大マージン解への収束を加速できるかを検討すること。

提案手法

• 多項式より尾の長い損失関数を有する厳密に単調な損失関数を用いた線形モデルにおける勾配降下法のダイナミクスを分析する。
• 漸近的解析とリャプノフ関数技術を用いて、最大マージン解への方向収束を研究する。
• 勾配ノルムの逆数に比例するステップサイズを用いた正規化された勾配更新を導入し、収束を加速する。
• 指数的尾を持つ損失関数（例：ロジスティック損失）に対して、適応的ステップサイズを用いることで、マージン収束速度がO(1/log t)からO(log t / √t)に向上することを証明する。
• 完全結合層を有する深層線形ネットワークへの分析を拡張し、同様の収束行動と最小限の深さ依存性を示す。
• テイラー展開と指数関数的項のバインドを活用して、収束解析における誤差項を制御する。

実験結果

リサーチクエスチョン

• RQ1 損失関数の尾にどのような条件が課されると、分離可能なデータ上で勾配降下法がL2最大マージン分離器への方向収束を達成するか？
• RQ2 最大マージン解への収束速度は、損失関数の尾とステップサイズの選択にどのように依存するか？
• RQ3 適応的ステップサイズを用いることで、指数的尾を持つ損失関数に対してO(1/log t)の速度を超えて収束速度を加速できるか？
• RQ4 最大マージン解への暗黙的バイアスは深層線形ネットワークへも拡張可能か？また、深さは収束速度にどのように影響するか？
• RQ5 非線形ニューラルネットワークにおいて、適応的ステップサイズによる加速された収束は実証的に観察可能か？

主な発見

• 多項式より尾の長い損失関数に対しては勾配降下法が方向に関してL2最大マージン分離器に収束するが、下位または多項式的尾の損失関数では収束しない。
• ロジスティック損失を含む指数的尾を持つ損失関数に対しては、標準的な固定ステップサイズ勾配降下法が最適なマージン収束速度O(1/log t)を達成する。
• 勾配ノルムの逆数に比例するステップサイズを用いた正規化された勾配更新を用いることで、マージン収束速度がO(1/log t)からO(log t / √t)に向上し、これは著しく速い。
• 適応的ステップサイズによる改善された収束速度は、単純な線形モデルおよび深層線形ネットワークの両方で成立し、無限の深さの極限においても最小限の劣化が生じる。
• 数値結果は、適応的ステップサイズによる加速された収束が非線形ニューラルネットワークに対しても恩恵をもたらす可能性を示唆している。
• 解析により、損失関数が厳密に単調かつ多項式より尾の長い場合、勾配降下法の暗黙的バイアスが初期化やステップサイズに対して頑健であることが確認された。