[論文レビュー] Stochastic quasi-Newton with line-search regularization

Adrian Wills, Thomas B. Schön|arXiv (Cornell University)|Sep 3, 2019

Advanced Numerical Analysis Techniques参考文献 46被引用数 7

ひとこと要約

本稿では、ガウス過程によるオンラインヘシアン近似と確率的ラインサーチ手順を組み合わせた確率的準ニュートン法を提案する。非凸な確率的最適化における収束性を向上させるもので、非線形システム同定におけるノイズの多い勾配を効果的に処理し、状態空間モデルおよびMIMOハマーインシュタイン＝ウイーナー・モデルにおいて、既存手法に比べ優れた性能を示す。

ABSTRACT

In this paper we present a novel quasi-Newton algorithm for use in stochastic optimisation. Quasi-Newton methods have had an enormous impact on deterministic optimisation problems because they afford rapid convergence and computationally attractive algorithms. In essence, this is achieved by learning the second-order (Hessian) information based on observing first-order gradients. We extend these ideas to the stochastic setting by employing a highly flexible model for the Hessian and infer its value based on observing noisy gradients. In addition, we propose a stochastic counterpart to standard line-search procedures and demonstrate the utility of this combination on maximum likelihood identification for general nonlinear state space models.

研究の動機と目的

• ノイズが多く、高次元な最適化設定において、2次情報を利用できる確率的準ニュートン法の開発。
• 確率的最適化における効果的な確率的ラインサーチ手法の欠如に応じ、確率的アーミジョ型ラインサーチの提案。
• 尤度が解析的に求められないが、逐次モンテカルロ（SMC）を用いて推定可能な非線形状態空間モデルにおける、効率的な最尤推定の実現。
• ノイズのある勾配からオンラインでヘシアン情報を学習する、ロバストで適応的な最適化フレームワークの提供。
• 干渉計測およびMIMOハマーインシュタイン＝ウイーナー系を含む、挑戦的な非線形システム同定問題における本手法の有効性の実証。

提案手法

• ヘシアンはガウス過程でモデリングされ、ノイズのある勾配観測からの2次情報のオンラインベイズ更新を可能にする。
• 初期段階で期待値においてアーミジョ条件を満たす確率的ラインサーチ手順が開発され、問題のスケーリングとノイズに適応する。
• アルゴリズムはハイブリッドステップサイズ戦略を用いる：初期段階では確率的アーミジョ条件を適用し、ヘシアン推定が安定化すると、決定的スケジュールに移行する。
• 状態空間モデルにおける不偏な尤度および勾配推定のため、逐次モンテカルロ（SMC）と統合される。
• 勾配差分に基づく低ランク更新スキームを用いて、ヘシアン近似を繰り返し更新し、計算効率を確保する。
• ノイズのあるヘシアン観測に対応できるように拡張され、代替の確率過程（例：スレッダーt過程）を用いて非ガウス分布に対しても適応可能である。

実験結果

リサーチクエスチョン

• RQ1 オンラインでヘシアンを学習する確率的準ニュートン法は、ノイズのある勾配を伴う非凸な確率的最適化において収束性を向上させることができるか？
• RQ2 ノイズが多く、スケーリングが不適切な問題に適応しつつも収束性を維持できるように、確率的ラインサーチ手順をどのように設計できるか？
• RQ3 提案手法は、非線形システム同定タスクにおいて、既存のSMCベースのEM法および準ニュートン法を上回る性能を示せるか？
• RQ4 限られたノイズのある勾配データにさらされる確率的設定において、ヘシアンをガウス過程でモデリングすることの影響は何か？
• RQ5 確率的から決定的ラインサーチ行動への移行が、収束性および安定性に与える影響は何か？

主な発見

• QNGPアルゴリズムは、非線形干渉計測問題において、100回のモンテカルロランで真値に近い平均推定値と低い標準偏差を達成し、高精度なパラメータ推定を実現した。
• 干渉計測問題において、パラメータα₀は−0.0035 ± 0.0026（真値：0）、α₁は0.992 ± 0.0034（真値：1）、β₀は−0.0001 ± 0.0027（真値：0）、β₁は1.01 ± 0.0042（真値：1）、γは0.42 ± 0.01（真値：0.4）、σは0.14 ± 0.0052（真値：0.18）と推定された。
• MIMOハマーインシュタイン＝ウイーナー系において、QNGP手法は、状態空間モデルの最良手法PSEMと同等のボーデー周波数応答を得ており、前方フィルタリングのみを必要とした。
• QNGP手法は、スムージングに基づく手法と比較して、1反復あたりO(M)の計算量で済むのに対し、O(M²)の計算量を要するため、計算効率に優れた性能を示した。
• 確率的ラインサーチ機構により、スケーリングが不適切な問題に対しても収束性が強く、安定性が向上した。
• 本手法は、合成的および実世界のシステム同定問題の両方で強く実証された性能を示し、複雑で高次元な設定における実用性を裏付けた。