[論文レビュー] Reducing the variance in online optimization by transporting past gradients

Sébastien M. R. Arnold, Pierre-Antoine Manzagol+3 more|arXiv (Cornell University)|Jun 8, 2019

Stochastic Gradient Optimization Techniques参考文献 45被引用数 12

ひとこと要約

本稿では、過去の勾配を明示的なヘッセ行列の計算を伴わずに現在の反復点に輸送することで、オンラインの確率的最適化における分散を低減するための Implicit Gradient Transport (IGT) を提案する。IGT は、ヘッセ行列が等しいという制限付きの状況において最適収束が保証される一方で、Adam や Heavy Ball といったモーメンタムベースの最適化手法が、勾配推定値のバイアスと分散を顕著に低減することにより、深層学習のベンチマークにおいて最先端の性能を達成できる。

ABSTRACT

Most stochastic optimization methods use gradients once before discarding them. While variance reduction methods have shown that reusing past gradients can be beneficial when there is a finite number of datapoints, they do not easily extend to the online setting. One issue is the staleness due to using past gradients. We propose to correct this staleness using the idea of implicit gradient transport (IGT) which transforms gradients computed at previous iterates into gradients evaluated at the current iterate without using the Hessian explicitly. In addition to reducing the variance and bias of our updates over time, IGT can be used as a drop-in replacement for the gradient estimate in a number of well-understood methods such as heavy ball or Adam. We show experimentally that it achieves state-of-the-art results on a wide range of architectures and benchmarks. Additionally, the IGT gradient estimator yields the optimal asymptotic convergence rate for online stochastic optimization in the restricted setting where the Hessians of all component functions are equal.

研究の動機と目的

• オンラインの確率的最適化における高い分散とバイアスを低減すること、特に過去の勾配を再利用する場合に焦点を当てる。
• 通常は有限和の設定でのみ有効な分散低減技術を、オンラインの設定へと拡張すること。
• 明示的なヘッセ行列の計算を伴わずに、過去の勾配の陳腐化（staleness）を是正する手法を開発すること。
• モーメンタムベースの最適化手法が、オンライン設定においてより速い収束とより良い一般化性能を達成できるようにすること。
• 既存の最適化フレームワーク（例：Adam や Heavy Ball）に組み込める、確率的勾配の即時置き換え可能な手法を提供すること。

提案手法

• IGT は、ヘッセ行列を明示的に計算せずに、線形近似を用いて過去の反復点からの勾配を現在のパラメータ位置に暗黙的に輸送する。
• この手法は、過去の勾配と輸送補正項を組み合わせた勾配推定器を構築し、バイアスと分散を低減する。
• IGT は、標準的な確率的勾配を IGT 補正勾配推定値に置き換えることで、モーメンタムベースの最適化手法に統合される。
• このアプローチは、古くなった勾配であっても安定性と収束性を維持するため、暗黙の勾配輸送を活用する。
• 理論的分析により、IGT はすべての成分関数のヘッセ行列が等しい特別な状況において、最適な漸近的収束レートを達成することが示された。
• この手法は、既存の最適化コードベースへの最小限の変更で実装可能なドロップインリプレースメントとして実装されている。

実験結果

リサーチクエスチョン

• RQ1 明示的なヘッセ行列の計算を伴わずに、過去の勾配をオンライン最適化で効果的に再利用し、分散とバイアスを低減できるか？
• RQ2 標準的な確率的勾配法と比較して、暗黙の勾配輸送はオンラインの確率的最適化における収束速度と安定性を向上させるか？
• RQ3 IGT は、Adam や Heavy Ball といった既存のモーメンタムベースの最適化手法にスムーズに統合可能か？
• RQ4 特にヘッセ行列が等しい仮定下でのオンライン設定において、IGT の理論的収束挙動はいかなるものか？
• RQ5 IGT は多様な深層学習アーキテクチャとベンチマークにおいて最先端の性能を達成するか？

主な発見

• IGT は、多様な深層学習アーキテクチャとベンチマークにおいて、Adam や SGD にモーメンタムを適用した標準的な最適化手法を上回る最先端の性能を達成した。
• IGT 勾配推定器は、すべての成分関数のヘッセ行列が等しい制限付きの設定において、最適な漸近的収束レートを達成した。
• IGT は、時間の経過とともに勾配推定値のバイアスと分散を両方低減し、より速い収束と改善された一般化性能をもたらした。
• この手法により、標準的な確率的勾配降下法が最適解の近傍に収束するのに対し、IGT では一定ステップサイズを用いて線形収束が達成された。
• 実験的結果から、IGT を用いた標準的な SGD も、そのモーメンタム版も、深層学習で一般的に使われる最適化手法を上回ることが示された。
• 理論的分析により、適切なハイパーパramータチューニングのもとで IGT が線形収束を維持することが確認され、スペクトル半径の条件が安定性を保証した。