[論文レビュー] An efficient Averaged Stochastic Gauss-Newton algorithm for estimating parameters of non linear regressions models

Peggy Cénac, Antoine Godichon‐Baggioni+1 more|arXiv (Cornell University)|Jun 23, 2020

Gaussian Processes and Bayesian Inference参考文献 30被引用数 9

ひとこと要約

本稿では、順次的で大量のデータを扱う非線形回帰モデルにおける効率的なパラメータ推定のため、平均化された確率的ガウス・ニュートン（ASGN）アルゴリズムを提案する。ガウス・ニュートン法をオンライン更新と平均化によって適応させることで、ヘッセ行列固有値のスケールが不均一な状況において、標準的な確率的勾配法が失敗するような、劣悪な条件でも漸近的効率性と収束性の向上を達成する。

ABSTRACT

Non linear regression models are a standard tool for modeling real phenomena, with several applications in machine learning, ecology, econometry... Estimating the parameters of the model has garnered a lot of attention during many years. We focus here on a recursive method for estimating parameters of non linear regressions. Indeed, these kinds of methods, whose most famous are probably the stochastic gradient algorithm and its averaged version, enable to deal efficiently with massive data arriving sequentially. Nevertheless, they can be, in practice, very sensitive to the case where the eigen-values of the Hessian of the functional we would like to minimize are at different scales. To avoid this problem, we first introduce an online Stochastic Gauss-Newton algorithm. In order to improve the estimates behavior in case of bad initialization, we also introduce a new Averaged Stochastic Gauss-Newton algorithm and prove its asymptotic efficiency.

研究の動機と目的

• 非線形回帰パラメータ推定における確率的勾配法の、ヘッセ行列固有値スケールの変動に対する感受性を解消すること。
• 大規模で順次的に到着するデータストリームに適した再帰的でオンラインなアルゴリズムを開発すること。
• 平均化された確率的ガウス・ニュートン法の導入により、悪い初期値下での収束行動を改善すること。
• 一般の正則性条件およびモーメント条件の下で、提案アルゴリズムの確実な漸近的効率性と収束速度を確立すること。

提案手法

• シャーマン＝モリソンの公式を用いた再帰的行列逆行列計算により、ヘッセ行列の逆行列近似を更新するオンライン確率的ガウス・ニュートンアルゴリズムを提案する。
• 時間的に変化するステップサイズ列を用い、探索と収束のバランスをとる。
• 推定誤差の挙動を分析するために、マルティングール差分列と条件付き期待値の技法を用いる。
• ロビンズ＝シーマンの確率的近似定理を適用し、誤差項の確実な収束を証明する。
• 作用素値重み付きの平均化マルティングール列に関する新規定理を用いて、収束速度を導出する。
• 時間的に変化するステップサイズ列を用い、探索と収束のバランスをとる。

実験結果

リサーチクエスチョン

• RQ1 順次的データを扱う非線形回帰モデルに対して、劣悪なヘッセ行列の条件数に対してもロバストであるような確率的ガウス・ニュートン法を設計できるか？
• RQ2 確率的ガウス・ニュートンフレームワークにおいて、パラメータ推定値を時間平均化することで、収束性が向上し、初期値への感受性が低下するか？
• RQ3 一般の正則性およびモーメント仮定の下で、パラメータ推定値の確実な収束速度は何か？
• RQ4 すべての歴史的データを保存せずに、バッチ法と同等の漸近的効率性を達成できるか？

主な発見

• 標準的な正則性およびモーメント条件の下で、平均化された確率的ガウス・ニュートン（ASGN）アルゴリズムは、パラメータ推定値が真のパラメータ値に確実に収束することを示した。
• ヘッセ行列固有値のスケールが著しく異なる状況においても、標準的な確率的勾配法よりも初期値への感受性が低く、ロバスト性が向上した。
• 推定誤差が $ \mathcal{O}(n^{-1}v_n^{-2} \ln n) $ で確実に有界であることが示され、収束速度はステップサイズ列の減衰率およびヘッセ行列の条件数に依存する。
• 理論的分析により、正則性条件の下で漸近的効率性が確認され、推定器は極限においてクラメール・ラオ低限に達することがわかった。
• 全データを保存せず、逆ヘッセ行列の近似とパラメータ推定値を再帰的に更新するため、計算効率が維持される。
• ヘッセ行列が良好に条件付けられている場合には収束速度が向上し、平均化機構により勾配推定値のノイズが効果的に抑制される。