[論文レビュー] Learning Linear Dynamical Systems via Spectral Filtering

Elad Hazan, Karan Singh+1 more|arXiv (Cornell University)|Nov 2, 2017

Advanced Bandit Algorithms Research参考文献 14被引用数 5

ひとこと要約

本稿では、時系列データから生成されたヘンケル行列の固有ベクトルを用いたスペクトルフィルタリングを活用することで、対称的転移行列をもつ離散時間線形力学系（LDS）のオンライン学習アルゴリズムを提案する。非凸なシステム同定問題を多項対数的過パラメータ化によって凸最適化問題に再定式化し、安定性の仮定や隠れ状態の知識を必要とせず、近似的に最適なレグレットバウンドと多項式時間収束を達成する。

ABSTRACT

We present an efficient and practical algorithm for the online prediction of discrete-time linear dynamical systems with a symmetric transition matrix. We circumvent the non-convex optimization problem using improper learning: carefully overparameterize the class of LDSs by a polylogarithmic factor, in exchange for convexity of the loss functions. From this arises a polynomial-time algorithm with a near-optimal regret guarantee, with an analogous sample complexity bound for agnostic learning. Our algorithm is based on a novel filtering technique, which may be of independent interest: we convolve the time series with the eigenvectors of a certain Hankel matrix.

研究の動機と目的

• 転移行列Aが対称的かつ未知である線形力学系（LDS）におけるシステム同定の課題に取り組む。
• EMのような従来手法で理論的保証が困難な、LDSパラメータ推定の本質的非凸性を克服する。
• 隠れ状態の知識や安定性制約を必要としない、実用的で効率的なオンライン時系列予測アルゴリズムを開発する。
• Aの条件数に依存しない多項式時間のレグレットとサンプル複雑度の保証を達成する。||A|| = 1の場合でも有効である。
• バッチ設定においてアグノスティック学習を可能にし、データがLDSによって生成されたと仮定しない一般化誤差の境界を提供する。

提案手法

• 時系列データから構築されたヘンケル行列の固有ベクトルに基づくスペクトルフィルタリング技術を用いる。
• LDSモデルの仮説クラスを多項対数的要因で過パラメータ化することで、非凸問題を凸問題に変換する。
• 波形をもつヘンケル行列の固有ベクトルと畳み込みを行うウェーブフィルタリング機構を適用し、システムのダイナミクスを捉える。
• 損失関数を過パラメータ化空間で凸となるように定式化し、オンライン凸最適化タスクとして予測問題を定式化する。
• 最近のヘンケル行列のスペクトル理論の進展を活用し、フィルタリング操作の近似品質に関する理論的保証を確保する。
• 集中不等式およびノルム不等式（特にμ(α)のような特定のベクトルのℓ1およびℓ2ノルムの境界を含む）を用いて、レグレットおよびサンプル複雑度の境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 安定性や既知の隠れ状態を仮定しない条件下で、対称的転移行列をもつ線形力学系に対して、証明可能に効率的かつ安定した予測が可能か？
• RQ2 過パラメータ化によって非凸なシステム同定問題を凸最適化フレームワークに変換可能であり、予測精度を保持できるか？
• RQ3 提案手法のスペクトルフィルタリングは、従来のEMベースや回帰ベースの手法と比較して、レグレットおよびサンプル複雑度の点でどのように性能を発揮するか？
• RQ4 スペクトル半径の仮定に依存せず、敵対的に入力されたデータや無限次元状態空間に対しても一般化可能か？
• RQ5 ヘンケル行列の固有ベクトルがシステムダイナミクスをどのように捉えているか、またこれは予測誤差の収束にどのように関連しているか？

主な発見

• 提案アルゴリズムは、オンライン予測においてレグレットバウンド Õ(poly(n,m,d,log T)/√T) を達成し、最良の対称LDS予測子とほぼ最適である。
• バッチ学習設定では、サンプル複雑度バウンド Õ(poly(n,m,d,log T,log 1/ε))/√N を提供し、高確率で一般化誤差がε以内に収まる。
• 条件数に依存せず、||A|| = 1の場合でも動作する。従来の回帰ベース手法とは異なり、このような悪条件な状況でも性能が劣化しない。
• 隠れ状態 h_t を明示的に学習しないが、依然として優れた予測性能を達成する。
• トゥイデータおよび物理的シミュレーションにおける実験結果から、本手法は予測精度において競争力があり、より安定的かつ従来手法よりも顕著に高速であることが示された。
• 理論的分析により、ヘンケル行列の固有ベクトルに基づくウェーブフィルタリング機構が、フィルターベクトルのℓ1およびℓ2ノルムを有界に保つことが確認され、集中およびレグレット制御が可能であることが示された。