[論文レビュー] No-Regret Prediction in Marginally Stable Systems

Udaya Ghai, Holden Lee+3 more|arXiv (Cornell University)|Feb 6, 2020

Advanced Bandit Algorithms Research参考文献 39被引用数 5

ひとこと要約

本稿は、敵対的または非等方的確率的摂動下で、標準的なパラメータ同定が失敗する場合の、わずかに安定な線形力学系におけるオンライン最小二乗予測について、非線形なレジームを確立する。著者らは、現在の状態が過去の状態の小さな線形結合であることを示す構造的ボリューム二重化補題を導入することで、多項式的成長でさえも、多項式的で抑えられたレジームを達成する。確率的設定では、多項式的ではなく対数的レジームに改善され、部分観測のガウス設定では対数的レジームが達成される。

ABSTRACT

We consider the problem of online prediction in a marginally stable linear dynamical system subject to bounded adversarial or (non-isotropic) stochastic perturbations. This poses two challenges. Firstly, the system is in general unidentifiable, so recent and classical results on parameter recovery do not apply. Secondly, because we allow the system to be marginally stable, the state can grow polynomially with time; this causes standard regret bounds in online convex optimization to be vacuous. In spite of these challenges, we show that the online least-squares algorithm achieves sublinear regret (improvable to polylogarithmic in the stochastic setting), with polynomial dependence on the system's parameters. This requires a refined regret analysis, including a structural lemma showing the current state of the system to be a small linear combination of past states, even if the state grows polynomially. By applying our techniques to learning an autoregressive filter, we also achieve logarithmic regret in the partially observed setting under Gaussian noise, with polynomial dependence on the memory of the associated Kalman filter.

研究の動機と目的

• 敵対的または非等方的ノイズの下で、システムパラメータが同定不能となるオンライン予測を扱う。
• 状態が時間とともに多項式的に成長する場合、標準的なオンライン凸最適化のレジームバウンドが無意味になるという課題を克服する。
• 同定不能なシステムと多項式的状態成長の下でも、オンライン最小二乗法が非線形なレジームを達成できることを示す。
• 部分観測設定に一般化し、ガウスノイズ下で、カルマンフィルタ記憶の多項式的依存性を伴いながら対数的レジームを達成する。
• 現在の状態が過去の状態の小さな線形結合であることを示す構造的補題を開発し、より緊密なレジーム解析を可能にする。

提案手法

• 現在の状態 $x_t$ が多項式的成長下でも、過去の状態の小さな線形結合として表現可能であることを示す構造的ボリューム二重化補題を導入する。
• 最悪ケースバウンドに代えてマルティンゲールに基づく議論を用いる洗練されたレジーム解析により、確率的設定で多項式対数的レジームを達成する。
• 部分観測系に自己回帰フィルタアプローチを適用し、カルマンフィルタ記憶を活用してレジームをバウンドする。
• 長距離依存性と誤差伝播の制御のため、再帰的関係 $x_t = A^k x_{t-k} + \tilde{\theta}_t$ を確立する。
• 行列分解 $A = V D V^{-1}$ を用いて、$A$ のべき乗のノルムをバウンドし、システムパラメータに多項式的依存性を保証する。
• $x_t$ が過去のノイズ項の線形結合であり、係数がシステムパラメータによってバウンドされることを活用して、状態再構成の誤差を制御する。

実験結果

リサーチクエスチョン

• RQ1 敵対的摂動下で、同定不能かつ多項式的状態成長が生じるわずかに安定な線形系において、オンライン最小二乗法が非線形なレジームを達成できるか？
• RQ2 等方的ノイズやパラメータ同定なしに、確率的設定でレジームバウンドが多項式対数的になるか？
• RQ3 ガウスノイズ下の部分観測設定で、カルマンフィルタ記憶にのみ依存して対数的レジームを達成できるか？
• RQ4 特に対角化可能な場合に、$T^{(2r+1)/(2r+2)}$ のレジームレートがわずかに安定な系において最適か？
• RQ5 システムの次数 $d$ に依存するレジームバウンドを、ロールアウト長 $\ell$ ではなく、システムの固有の複雑さを反映する形で表現できるか？

主な発見

• オンライン最小二乗法は、敵対的摂動下で、わずかに安定な線形系において、$O(T^{(2r+1)/(2r+2)})$ の非線形なレジームを達成し、システムパラメータに多項式的依存性を示す。
• 確率的設定では、パラメータ収束に依存せず、多項式対数的 $\text{polylog}(T)$ のレジームバウンドに改善される。
• ガウスノイズ下の部分観測系では、カルマンフィルタのロールアウト長 $\ell$ に多項式的依存性を伴いながら、対数的レジーム $O(\log T)$ を達成する。
• 構造的ボリューム二重化補題により、$x_t$ が過去の状態の小さな線形結合であることが示され、多項式的成長下でもより緊密なレジーム制御が可能になる。
• パラメータ同定やシステム同定性に依存しないため、モデル誤指定や非等方的ノイズに対して頑健である。
• 非ガウスノイズの場合、残差を敵対的とみなして一般化できるが、この場合の多項式対数的レジームは未解決のまま残っている。