[論文レビュー] Stochastic Second-Order Optimization via von Neumann Series

Mojmír Mutný|arXiv (Cornell University)|Dec 14, 2016

Stochastic Gradient Optimization Techniques参考文献 12被引用数 7

ひとこと要約

本稿では、von Neumann級数を用いてヘッセ行列の逆行列を反復的に近似する手法であるISSAを提案する。この手法により、線形モデルのスケーラブルな学習が効率的に行える。従来の手法よりも緩い条件下で線形収束を達成し、数値実験ではL-BFGSと同等の性能を示すが、LISSAと比較して安定性が向上し、パラメータ依存性が低減されている。

ABSTRACT

A stochastic iterative algorithm approximating second-order information using von Neumann series is discussed. We present convergence guarantees for strongly-convex and smooth functions. Our analysis is much simpler in contrast to a similar algorithm and its analysis, LISSA. The algorithm is primarily suitable for training large scale linear models, where the number of data points is very large. Two novel analyses, one showing space independent linear convergence, and one showing conditional quadratic convergence are discussed. In numerical experiments, the behavior of the error is similar to the second-order algorithm L-BFGS, and improves the performance of LISSA for quadratic objective function.

研究の動機と目的

• 大規模な線形モデル向けに、より効率的で安定性の高い確率的2次最適化アルゴリズムの開発を目的とする。
• LISSAのような既存手法と比較して、収束解析を単純化し、ウォームスタートの必要性を排除することを目的とする。
• パrameter依存性の低減と実装との整合性を高めることで、実用的導入を可能にすることを目的とする。
• 特定の勾配条件の下での条件付き2次収束を探索することを目的とする。
• 新しいヘッセ行列サンプルに高い重みを割り当てることで、オンラインおよび適応的設定における安定性を向上させることを目的とする。

提案手法

• アルゴリズムは、不偏なヘッセ行列サンプルを用いて、von Neumann級数展開に基づき逆ヘッセ行列の近似を反復的に構築する。
• 固定ステップサイズを採用し、サンプリングされたヘッセ行列に基づく切断級数を用いて逆ヘッセ行列の近似を更新する。
• ヘッセ行列がスペクトルノルムが1以下になるようにスケーリングされていると仮定し、級数の収束を保証する。
• 2つのバージョンを導入する：過去のヘッセ行列サンプルを再利用する実用的バージョンと、完全な再推定を要する理論的バージョン。
• 勾配とヘッセ行列のサンプルが独立に抽出されるオンラインバージョンを提案し、非定常な目的関数への適応を可能にする。
• アルゴリズムは古い情報の重みを自然に低下させる構造となっており、時間的に変化する最適化問題における適応的動作をサポートする。

実験結果

リサーチクエスチョン

• RQ1 von Neumann級数に基づく確率的2次最適化手法は、ウォームスタートを必要とせず、線形収束を達成できるか？
• RQ2 条件付き2次収束が示唆するように、初期段階での収束が速いか？
• RQ3 大規模な2次的および実世界のデータセットにおいて、L-BFGSおよびLISSAと比較して、本手法の性能はいかがなっているか？
• RQ4 勾配推定器とヘッセ行列推定器の間でサンプルを共有することで、アルゴリズムの安定性にどのような影響があるか？
• RQ5 古い情報の重みを自然に低下させることで、非定常な目的関数に対して効果的に適応できるか？

主な発見

• LISSAと比較して、より緩い条件下で空間に依存しない線形収束を達成し、最適解への初期距離の近接を必要としない。
• 特定の勾配条件の下で、条件付き2次収束率が確立され、本手法の初期段階での高速な進行を説明できる。
• 数値実験では、ISSAの誤差挙動がL-BFGSに近く、2次的目的関数ではLISSAを上回る性能を示した。
• ヘッセ行列のサンプルバッチサイズが勾配のサンプルバッチサイズを上回ると安定性の問題が生じるため、勾配バッチサイズの適応的増加が求められる。
• 勾配バッチサイズを時間とともに適応的に増加させることで、安定性が向上し、収束が速くなった。
• 本手法は古いヘッセ行列情報の重みを自然に低下させる構造となっており、オンラインおよび非定常最適化設定に適していると考えられる。