[論文レビュー] A survey of deep learning optimizers -- first and second order methods

Rohan V Kashyap|arXiv (Cornell University)|Nov 28, 2022

Stochastic Gradient Optimization Techniques被引用数 6

ひとこと要約

本調査は、14種類の一次および二次の深層学習最適化手法について、理論的分析を包括的に行い、収束性、計算複雑性、非凸的かつ高次元の損失関数の下での性能を評価している。過パラメータ化されたモデルは、悪い局所的最小値のリスクを低減することが示された。二次の手法は収束性に優れるが、O(N³)のヘシアン計算コストのため、実用的使用は小規模なネットワークに限られる。

ABSTRACT

Deep Learning optimization involves minimizing a high-dimensional loss function in the weight space which is often perceived as difficult due to its inherent difficulties such as saddle points, local minima, ill-conditioning of the Hessian and limited compute resources. In this paper, we provide a comprehensive review of $14$ standard optimization methods successfully used in deep learning research and a theoretical assessment of the difficulties in numerical optimization from the optimization literature.

研究の動機と目的

• 深層学習における広く使われている14種類の一次および二次の最適化手法について、体系的な理論的レビューを提供すること。
• 高次元的かつ非凸的最適化の課題、特に鞍点、悪条件のヘシアン、局所的最小値の分析。
• 最適化アルゴリズムの計算効率と収束性能のトレードオフの評価。
• ニュートン・CGやアダヘシアンといった二次の手法の理論的保証と実用的限界の評価。
• 正則化と重み初期化が、高容量モデルでも過学習を軽減し一般化性能を向上させる役割を明確化すること。

提案手法

• 数値最適化の標準的定義（勾配、ヘシアン、曲率情報など）を用いて、最適化手法の理論的評価を実施。
• 一次の手法（例：SGD、Adam、AdamW）は、適応的学習率、モーメンタム、一次勾配情報に基づくパラメータ更新を評価。
• ニュートン・CG やアダヘシアンなどの二次の手法は、ヘシアン・ベクトル積とヘシアンフリー近似を用いて、明示的なヘシアン計算を回避。
• ヘシアンは有限差分法により近似：∇²fₖd ≈ [∇f(xₖ + hd) − ∇f(xₖ)] / h により、ヘシアンフリー最適化が可能に。
• ラックアウートは二重重み機構としてモデル化：高速重みは内側ループの最適化手法（例：SGD、Adam）で更新され、遅い重みは指数移動平均で更新。
• ドレーニングパラメータ λ を用いた信頼領域技術が適用され、B = H + λI によりニュートンステップを安定化させ、負の曲率の問題を回避。

実験結果

リサーチクエスチョン

• RQ1 高次元的・非凸的損失関数下で、Adam や SGD といった一次の最適化手法は、収束速度と一般化性能においてどのように比較されるか？
• RQ2 ニュートン・CG やアダヘシアンといった二次の手法が深層学習において有する理論的収束性と計算コストは何か？
• RQ3 非凸的損失関数を持つにもかかわらず、過パラメータ化されたディープニューラルネットワークが、なぜ悪い局所的最小値を回避できるのか？
• RQ4 ラックアウート最適化手法は、二重重みダイナミクスによって収束安定性と一般化性能をどのように向上させるか？
• RQ5 高容量モデルが訓練データを記憶できることを考慮しても、正則化は過学習を防ぐために果たす役割は何か？

主な発見

• 過パラメータ化されたディープニューラルネットワークでは、悪い局所的最小値の確率が低く、高コストの臨界点の多くは鞍点である。
• ニュートン・CG などの二次の手法は超線形収束を達成するが、O(N³)のヘシアン計算コストを要するため、小規模なモデルに限って実用的である。
• ヘシアンフリー手法（例：ニュートン・CG）は、明示的なヘシアンの保存を避けるために、有限差分近似によりヘシアン・ベクトル積を計算。
• ヘシアン近似にドレーニング（λI）を用いることで、曲率が低いか負の領域での大きな不適切な更新を防ぎ、ニュートンステップを安定化。
• ラックアウートは、高速で適応的な更新と遅い平均化された重みを組み合わせることで収束を改善し、振動を低減し一般化性能を向上。
• 実験的結果では、Adam、AdamW、アダヘシアンが、画像分類およびNLPタスクにおいて、標準的なSGDよりも学習速度と最終的な精度で優れているが、理論的収束保証はない。