[論文レビュー] Kalman Gradient Descent: Adaptive Variance Reduction in Stochastic Optimization

James Vuckovic|arXiv (Cornell University)|Oct 29, 2018

Stochastic Gradient Optimization Techniques参考文献 17被引用数 11

ひとこと要約

本稿では、カルマンフィルタを用いて確率的勾配降下法における勾配の分散を適応的に低減する、確率的最適化アルゴリズムであるカルマン勾配降下法（KGD）を提案する。勾配推定値を線形動的システムとしてモデル化し、最適な線形フィルタリングを適用することで、非凸設定において収束性が向上し、ニューラルネットワークや変分推論において優れた性能を示す。さらに、モーメンタムやRMSPropへの拡張およびスケーラブルな分散型バージョンを含む。

ABSTRACT

We introduce Kalman Gradient Descent, a stochastic optimization algorithm that uses Kalman filtering to adaptively reduce gradient variance in stochastic gradient descent by filtering the gradient estimates. We present both a theoretical analysis of convergence in a non-convex setting and experimental results which demonstrate improved performance on a variety of machine learning areas including neural networks and black box variational inference. We also present a distributed version of our algorithm that enables large-dimensional optimization, and we extend our algorithm to SGD with momentum and RMSProp.

研究の動機と目的

• 確率的最適化における高い勾配分散が深層学習の収束性と性能を劣化させることに起因する課題に対処すること。
• 特定の機械学習応用に依存しない汎用的で適応的な分散低減フレームワークの開発。
• SGDにモーメンタムやRMSPropのような現代の最適化アルゴリズムへのカルマンフィルタリング手法の拡張。
• アルゴリズムの分散型バージョンを用いて大規模最適化を可能にすること。
• 不偏勾配推定が与えられた非凸設定において、理論的収束保証を提供すること。

提案手法

• ステップごとの更新を、状態ベクトル [x_t; g_t] を持つ離散時間、時変係数（LTV）システムとしてモデル化し、g_t を真の勾配の隠れ推定値とする。
• ノイズのある測定値 g(x_t; ξ_t) を用いて、真の勾配とフィルタリング推定値の平均二乗誤差を最小化することで、真の勾配を推定するためのカルマンフィルタを適用する。
• 時変係数行列 A_t および測定行列 C_t を用いたカルマンフィルタ更新式を導出。プロセスノイズと測定ノイズは、平均がゼロのガウス分布としてモデル化する。
• 更新式において、確率的勾配の代わりにフィルタリングされた勾配推定値を使用する：x_{t+1} = x_t - α_t * (filtered g_t)。
• モーメンタムおよび自己適応学習率の更新ダイナミクスにカルマンフィルタを統合することで、SGD with momentum および RMSProp へのフレームワークの拡張。
• 状態空間を分割し、ノード間で並列にフィルタリングを適用することで、高次元最適化を可能にするKGDの分散型バージョンを提案。

実験結果

リサーチクエスチョン

• RQ1 問題固有の仮定に依存せずに、カルマンフィルタを用いて確率的最適化における勾配分散を低減できるか？
• RQ2 不偏勾配推定が与えられた非凸最適化問題において、カルマン勾配降下法（KGD）は定常点に収束するか？
• RQ3 多様な機械学習タスクにおいて、KGDは標準的なSGDや他の分散低減手法と比較して、収束速度および最終損失の点で優れているか？
• RQ4 カルマンフィルタリングフレームワークは、モーメンタムや自己適応学習率を備えた最適化アルゴリズムへ効果的に拡張可能か？
• RQ5 KGDは高次元設定においてスケーラブルか？分散型バージョンは中央集権的実装と比較してどのように性能を発揮するか？

主な発見

• 標準的な仮定の下で、理論的分析により勾配の期待ノルムがゼロに収束することを証明し、非凸設定において定常点への収束を示唆する。
• フィードフォワードおよび畳み込みニューラルネットワークにおいて、標準的なSGDや他の分散低減ベースラインと比較して、KGDはより速い収束および低い最終損失を達成する。
• ブラックボックス変分推論において、KGDはELBOの収束性と安定性の点でベースライン手法を上回る。
• KGDの分散型バージョンは大規模最適化タスクにおいても性能を維持し、ワーカー数の増加に伴い効果的にスケーリングする。
• モーメンタムおよびRMSPropへの拡張により、KGDが既存の自己適応最適化フレームワークに滑らかに統合可能であり、一貫した性能向上を示すことが分かった。
• 実験的結果により、KGDはベースライン手法よりも勾配ノイズをより効果的に低減し、より安定的かつ効率的な学習を実現することが示された。