[論文レビュー] The Geometry of Sign Gradient Descent

Lukas Balles, Fabián Pedregosa+1 more|arXiv (Cornell University)|Feb 19, 2020

3D Shape Modeling and Analysis参考文献 26被引用数 8

ひとこと要約

本稿では、$ι_{\infty}$-smoothnessが分離可能 smoothness よりも弱く、より自然な仮定であることを示すことにより、符号に基づく最適化手法を統一する。これはヘッセ行列の幾何的性質と関連づけられる。また、ヘッセ行列が対角成分に集中しており、平均に対して最大固有値が大きい場合には、符号勾配降下法が標準勾配降下法を上回ることを示し、深層学習におけるAdamなどの手法の実験的成功を説明する。

ABSTRACT

Sign-based optimization methods have become popular in machine learning due to their favorable communication cost in distributed optimization and their surprisingly good performance in neural network training. Furthermore, they are closely connected to so-called adaptive gradient methods like Adam. Recent works on signSGD have used a non-standard "separable smoothness" assumption, whereas some older works study sign gradient descent as steepest descent with respect to the $\ell_\infty$-norm. In this work, we unify these existing results by showing a close connection between separable smoothness and $\ell_\infty$-smoothness and argue that the latter is the weaker and more natural assumption. We then proceed to study the smoothness constant with respect to the $\ell_\infty$-norm and thereby isolate geometric properties of the objective function which affect the performance of sign-based methods. In short, we find sign-based methods to be preferable over gradient descent if (i) the Hessian is to some degree concentrated on its diagonal, and (ii) its maximal eigenvalue is much larger than the average eigenvalue. Both properties are common in deep networks.

研究の動機と目的

• 符号に基づく最適化手法の既存の収束解析を、より自然な滑らかさ仮定の下で統一すること。
• 非標準的な分離可能 smoothness 仮定と $ι_{\infty}$-smoothness の関係を明確にすること。
• 符号に基づく手法が標準勾配降下法を上回る場合のヘッセ行列の幾何的性質を特定すること。
• Adam や signSGD が深層学習で実験的に成功する理由を理論的に説明すること。

提案手法

• 分離可能 smoothness の下で得られる収束結果が、$L_{\infty} = \sum_i l_i$ の条件下で $ι_{\infty}$-smoothness においても成り立つことを証明し、$ι_{\infty}$-smoothness が厳密に弱い仮定であることを確立する。
• ヘッセ行列の固有値および対角成分の集中度に関して、$ι_{\infty}$-smoothness 定数 $L_{\infty}$ の幾何的意味を分析する。
• テイラーの定理と双対ノルムの恒等式を用いて、緩い滑らかさ仮定の下での関数増加の上限を導出する。
• 滑らかさ定数 $L_{\infty}$ を勾配の $ι_{\infty}$ ノルムおよびヘッセ行列の固有値特性と関連付けることで、符号勾配降下法の収束速度を導出する。
• 勾配の符号を座標ごとにシャッフルしたり平均化したりした場合に、Adam が符号ベースの手法と同様に振る舞うことを実験的に検証し、理論的洞察を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 $ι_{\infty}$-smoothness は、符号に基づく手法の解析において、分離可能 smoothness よりも弱く、より自然な仮定であるか？
• RQ2 ヘッセ行列の対角成分の集中度は、符号勾配降下法の性能にどのように影響するか？
• RQ3 ヘッセ行列の最大固有値と平均固有値の比は、符号に基づく手法の収束にどのような役割を果たすか？
• RQ4 符号に基づく手法やAdamは、符号情報のみを用いているにもかかわらず、なぜ深層学習でうまくいくのか？

主な発見

• $L_{\infty} = \sum_i l_i$ であるとき、$ι_{\infty}$-smoothness 仮定は分離可能 smoothness 条件を含むが、逆は成り立たないため、$ι_{\infty}$-smoothness は分離可能 smoothness よりも厳密に弱い仮定である。
• ヘッセ行列が対角成分に集中している場合（対角成分と非対角成分の比が大きい場合）、符号勾配降下法は標準勾配降下法よりも収束が速くなる。
• ヘッセ行列の最大固有値が平均固有値に比べて著しく大きい場合、符号に基づく手法の収束速度は顕著に向上する。
• 本分析により、Adam が深層学習で成功する理由が説明され、Adam は主に符号に基づく手法として機能しており、適応的学習率は二次的な役割を果たしている。
• 符号勾配降下法の収束速度は、$T \leq 18(f_0 - f^*) \max\left(\frac{L^{(0)}}{\varepsilon^2}, \frac{(L^{(1)})^2}{L^{(0)}}\right)$ で抑えられ、ここで $L^{(0)}$ および $L^{(1)}$ はヘッセ行列に関連する滑らかさパラメータである。