[論文レビュー] Stochastic Online Optimization using Kalman Recursion

Joseph de Vilmarest, Olivier Wintenberger|arXiv (Cornell University)|Feb 10, 2020

Advanced Bandit Algorithms Research参考文献 24被引用数 5

ひとこと要約

本稿では、損失関数を負の対数尤度とみなすベイジアン解釈を用いて、非制約問題におけるパラメータフリーなオンライン確率的最適化アルゴリズムを、拡張カルマンフィルタ（EKF）を用いて提案する。2段階の解析により、累積超過リスクに対する高確率的バウンドを確立する。まず、最適解の局所的近傍への収束を証明し、次に一般化線形モデルにおけるマルティングールに基づくリスクバウンドを導出する。1反復あたりの計算コストは $O(d^2)$ であり、最適収束レートを達成する。

ABSTRACT

We study the Extended Kalman Filter in constant dynamics, offering a bayesian perspective of stochastic optimization. We obtain high probability bounds on the cumulative excess risk in an unconstrained setting. In order to avoid any projection step we propose a two-phase analysis. First, for linear and logistic regressions, we prove that the algorithm enters a local phase where the estimate stays in a small region around the optimum. We provide explicit bounds with high probability on this convergence time. Second, for generalized linear regressions, we provide a martingale analysis of the excess risk in the local phase, improving existing ones in bounded stochastic optimization. The EKF appears as a parameter-free online algorithm with O(d^2) cost per iteration that optimally solves some unconstrained optimization problems.

研究の動機と目的

• 射影ステップを必要としない、非制約的確率的最適化設定におけるパラメータフリーなオンライン最適化アルゴリズムの開発。
• オンライン学習における累積超過リスクに対する非漸近的・高確率的バウンドの提供。
• EKFを正則化された経験的リスク最小化のベイジアンオンライン近似として分析すること。
• 2段階の理論的枠組みの確立：最適解の局所的近傍への収束と、その近傍内でのリスク制御。
• 局所的段階におけるマルティングール解析を通じて、既存のバウンドを改善する。

提案手法

• 最適化問題を、パラメータ動的が定常である退化した定常状態空間モデルとしてモデル化する。
• オンライン尤度近似を用いて、EKFを用いて逐次的にパラメータ推定値を更新する。
• ベイジアン視点を採用：損失関数を負の対数尤度とみなして、オンラインで最尤推定器を近似する。
• 2段階の解析を実施：まず、真のパラメータの小さな球内への確実収束を証明し、次にその局所的段階でのリスクを分析する。
• マルティングール集中不等式を適用して、局所的段階における累積超過リスクの高確率的バウンドを導出する。
• 線形回帰およびロジスティック回帰の明示的収束時間バウンドを導出し、精密化された定数を用いて一般化線形モデルへ拡張する。

実験結果

リサーチクエスチョン

• RQ1 EKFは、射影ステップを必要とせず、非制約的設定においてパラメータフリーなオンライン最適化アルゴリズムとして使用可能か？
• RQ2 確率的オンライン最適化におけるEKFの累積超過リスクに対する高確率的バウンドは何か？
• RQ3 線形回帰およびロジスティック回帰において、EKFは真のパラメータの局所的近傍にどの程度の速さで収束するか？
• RQ4 パラメータ空間の知識や射影ステップを必要とせずに、EKFがオンラインニュートンステップ（ONS）と同等の最適収束レートを達成できるか？
• RQ5 計算コストとリスクバウンドの観点から、EKFは既存の2次のオンラインアルゴリズムと比較してどのように性能を発揮するか？

主な発見

• EKFは1反復あたり $O(d^2)$ の計算コストを達成し、高次元問題においても効率的である。
• 線形回帰およびロジスティック回帰において、アルゴリズムは高確率的に、$\tau_1(\delta)$ の時間内に最適解の近傍に到達する。この時間は $O\left(\frac{D_X^2}{\Lambda_{\text{min}}} (\ln d + \ln \delta^{-1})\right)$ に比例する。
• 累積超過リスクは高確率的に $O\left(\frac{\ln t}{t}\right)$ でバウンドされ、平均化されたSGDおよびONSの最適レートと一致する。
• 平均化された反復に対する収束レートは $O\left(\frac{\ln t}{t}\right)$ であり、先行研究と比較して明示的な定数が改善されている。
• バウンドはモデルの誤指定に対してもロバストであり、最適パラメータの位置や有界ドメインに関する事前知識を必要としない。
• EKFが時間的に変化する正則化パラメータを伴うリッジ回帰のオンライン近似と等価であることが示され、オンライン学習にベイジアン解釈を提供する。