[論文レビュー] Dissecting Adam: The Sign, Magnitude and Variance of Stochastic Gradients

Lukas Balles, Philipp Hennig|arXiv (Cornell University)|May 22, 2017

Architecture and Computational Design被引用数 78

ひとこと要約

本論文は Adam を二つの成分に分解し—符号ベースの更新方向と分散適応された振幅—それらを個別に分析し、代替案として svag と m-svag を提案し、実験では符号が性能を支配し、分散適応がロバスト性の向上に寄与することを示している。

ABSTRACT

The ADAM optimizer is exceedingly popular in the deep learning community. Often it works very well, sometimes it doesn't. Why? We interpret ADAM as a combination of two aspects: for each weight, the update direction is determined by the sign of stochastic gradients, whereas the update magnitude is determined by an estimate of their relative variance. We disentangle these two aspects and analyze them in isolation, gaining insight into the mechanisms underlying ADAM. This analysis also extends recent results on adverse effects of ADAM on generalization, isolating the sign aspect as the problematic one. Transferring the variance adaptation to SGD gives rise to a novel method, completing the practitioner's toolbox for problems where ADAM fails.

研究の動機と目的

• 符号ベースの更新と分散適応を分離することによって、なぜ Adam の性能が問題ごとに異なるのかを動機づけ、理解する。
• 要素ごとの分散適応因子の原理的導出を提供する。
• さまざまな更新方向に対して分散適応を適用することが、収束と一般化にどう影響するかを示す。
• m-svag を含む分散適応法の実用的実装を提案し、Adam や符号ベースの方法と比較する。

提案手法

• Adam を二つの成分、符号ベースの更新方向と分散適応された更新量として解釈する。
• 符号ベースの更新と勾配更新のための最適な分散適応因子を導出する。
• 確率的分散適応勾配（SVAG）およびそのモーメント版（m-svag）を導入し、標準的な仮定の下で収束特性を示す。
• 勾配モーメントの推定として v_t と m_t を関連付け、分散推定のバイアスを補正する実用的な分散推定を提供する。
• m-svag のアルゴリズム疑似コードを提示し、ハイパーパラメータと実装の詳細を議論する。

実験結果

リサーチクエスチョン

• RQ1 符号ベースの更新と分散適応を分離することで、確率論的最適化における Adam の挙動の理解は向上するか。
• RQ2 分散適応は確率的更新の最適な座標ごとのスケーリング因子として導出できるか。
• RQ3 SVAG および m-svag は、さまざまなタスクにおいて Adam および符号ベース/非符号ベースのベースラインと比較してどのように性能を発揮するか。
• RQ4 適応法における分散適応が一般化に与える影響は何か。
• RQ5 分散適応を実用的に推定し、最適化ルーチンのモーメントと統合するにはどうすればよいか。

主な発見

• 符号成分は、ほとんどの検証済みの問題において Adam の性能が支配的な要因であるが、その有用性は問題に依存する。
• 分散適応は性能を改善し、Adam に限らず任意の更新方向に適用できることを、m-svag によって示している。
• 座標ごとの最適な分散因子を導出でき、それらは特に符号降下の variante に対して、Adam が暗黙的に用いている因子と一致する。
• m-svag は符号ベースの適応法に関連する一般化の害をいくつか回避しつつ、訓練性能を維持または向上させる。
• 符号ベースの方法は一部のタスクで非符号ベースの方法より優れることがあるが、問題の構造によっては一般化を損なう可能性がある。
• 4つの問題における実験結果は、符号ベースと非符号ベースの方法のクラスタリングを示し、分散適応がさらなる利得を提供する。