[論文レビュー] Better SGD using Second-order Momentum

Hoang Vu Tran, Ashok Cutkosky|arXiv (Cornell University)|Mar 4, 2021

Stochastic Gradient Optimization Techniques参考文献 25被引用数 4

ひとこと要約

本稿では、SGDのモーメンタムバイアスを是正するためにヘッセ・ベクトル積を組み込むことで、非凸設定下での $\epsilon$-臨界点を求める際の収束速度を最適な $O(\epsilon^{-3})$ に向上させる、SGDHessと呼ばれる新しい確率的最適化アルゴリズムを提案する。従来の2次最適化手法とは異なり、大規模バッチサイズに依存せず、適応的学習率を可能とすることで、深層学習ベンチマークにおける実用性と性能が向上する。

ABSTRACT

We develop a new algorithm for non-convex stochastic optimization that finds an $ε$-critical point in the optimal $O(ε^{-3})$ stochastic gradient and Hessian-vector product computations. Our algorithm uses Hessian-vector products to "correct" a bias term in the momentum of SGD with momentum. This leads to better gradient estimates in a manner analogous to variance reduction methods. In contrast to prior work, we do not require excessively large batch sizes, and are able to provide an adaptive algorithm whose convergence rate automatically improves with decreasing variance in the gradient estimates. We validate our results on a variety of large-scale deep learning architectures and benchmarks tasks.

研究の動機と目的

• 非凸な深層学習設定下で、標準的なSGDを上回る収束性を実現する実用的な2次最適化手法を開発すること。
• 非凸な最適化において $\epsilon$-臨界点を求めるために必要な、確率的勾配およびヘッセ・ベクトルオракルの呼び出し回数を減らすこと。
• 従来の2次最適化手法で一般的に見られる大規模バッチサイズに依存しないこと。
• 勾配ノイズが小さい場合に自動的に収束性を向上させる適応的バージョンを設計すること。
• 多様な深層学習アーキテクチャおよびタスクにおいて、実験的に本手法の有効性を検証すること。

提案手法

• アルゴリズムは、SGDのモーメンタムにおけるバイアス項を是正するためにヘッセ・ベクトル積を導入し、勾配推定値を改善する。
• 進行状況を追跡し収束バウンドを導出するために、Lyapunov関数 $\Phi_t$ を用いる。ここには勾配項と誤差項の両方が組み込まれる。
• 探索と収束のバランスを取るために、減少する学習率スケジュール $\eta_t$ を採用する。
• 正規化されたバージョンは、リプシッツ勾配仮定の必要性を排除し、より高いロバストネスを実現する。
• 適応的バージョンは、観測された勾配分散に基づいて学習率を動的に調整し、ノイズが小さい条件下で $O(\epsilon^{-2})$ のレートを達成する。
• 理論的分析は、ヘッセ・ベクトル積および勾配ノイズの性質を用いて、Lyapunov関数の期待減少量をバウンドすることに依存する。

実験結果

リサーチクエスチョン

• RQ1 大規模バッチサイズに依存せずに、ヘッセ・ベクトル積を用いて非凸最適化におけるSGDの収束性を向上させることは可能か？
• RQ2 ヘッセ・ベクトル積による2次情報の組み込みが、標準的なSGDよりも速い収束速度をもたらすか？
• RQ3 勾配ノイズが低減した場合に、アルゴリズムが自動的に収束性を向上させられるか？
• RQ4 提案手法は、多様な深層学習アーキテクチャおよびタスクにおいて実用的に有効か？
• RQ5 アルゴリズムは、$\epsilon$-臨界点を求めるために理論的下界である $O(\epsilon^{-3})$ のオラクル呼び出し回数を達成できるか？

主な発見

• 提案されたSGDHessアルゴリズムは、非凸な確率的最適化において $\epsilon$-臨界点を求める際、最適な $O(\epsilon^{-3})$ の収束速度を達成する。
• 多くの従来の2次最適化手法とは異なり、大規模バッチサイズを必要としないため、大規模学習においてより実用的である。
• 勾配ノイズが無視できるほど小さい場合に、適応的バージョンがより速い $O(\epsilon^{-2})$ の収束速度を達成する。
• 正規化されたバージョンは、リプシッツ勾配仮定の必要性を排除し、適用範囲を広げた。
• 実験的結果では、複数の深層学習ベンチマークおよびアーキテクチャにおいて一貫した性能向上が観察され、しばしば最先端手法を上回る。
• チューニングプロセスは単純で、多くのハイパーパramータが標準的なSGDからそのまま移行可能である。