[論文レビュー] Learning of Linear Dynamical Systems as a Non-Commutative Polynomial Optimization Problem

Quan Zhou, Jakub Mareček|arXiv (Cornell University)|Feb 4, 2020

Control Systems and Identification参考文献 80被引用数 8

ひとこと要約

本稿では、未知の隠れ状態次元を有する線形力学的システム（LDS）の学習を、非可換多項式最適化問題（NCPOP）として定式化し、NPA階層の凸緩和を活用することで、システム行列のグローバル収束推定を達成する。MATLABのシステム同定ツールボックスよりも優れた予測性能を示し、特に変動が激しい時系列データにおいて顕著であり、実行時間は隠れ状態次元に依存せず、スパarsityの活用によりスケーラビリティが向上する。

ABSTRACT

There has been much recent progress in forecasting the next observation of a linear dynamical system (LDS), which is known as the improper learning, as well as in the estimation of its system matrices, which is known as the proper learning of LDS. We present an approach to proper learning of LDS, which in spite of the non-convexity of the problem, guarantees global convergence of numerical solutions to a least-squares estimator. We present promising computational results.

研究の動機と目的

• 未知の隠れ状態次元を有する線形力学的システム（LDS）の学習と、非凸的・非可換なシステム行列推定の課題に対処すること。
• システム行列と隠れ状態次元を同時に推定できる、グローバル収束性を有するLDSの適切な学習手法の開発。
• NCPOPフレームワークを通じて、事前形状制約の組み込みを可能とすること。
• 凸緩和を用いることで、未知の隠れ状態次元に依存しない実行時間の実現。
• 従来の部分空間法および最小二乗法と比較して、変動が激しい時系列データにおける予測精度とロバスト性の向上。

提案手法

• システム行列とノイズ共分散を非可換変数として扱い、LDS学習を非可換多項式最適化問題（NCPOP）として定式化する。
• Navascués-Pironio-Acin（NPA）階層の凸緩和を適用し、NCPOPに対する漸近的収束境界を生成する。
• NPA階層から導かれる半定値計画（SDP）緩和を用いて、非凸な演算子値問題を解く。
• スパarsityを活用するNPA階層の変種（例：TSSOS）を用い、計算コストを低減し、スケーラビリティを向上させる。
• SDPソルバに ncpol2sdpa と mosek を使用し、モーメント次数 $k=1$ または $k=2$ を採用する。
• 隠れ状態ダイナミクスの推定において $F'$ を定式化から除外し、観測からシステム行列の学習に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 未知の隠れ状態次元を有する線形力学的システムの学習を、非可換多項式最適化問題として定式化できるか？
• RQ2 NPA階層の凸緩和が、隠れ状態次元の事前知識なしにLDSシステム行列のグローバル収束推定を可能にするか？
• RQ3 提案手法のNCPOPベースのアプローチは、変動が激しい時系列データにおいて、従来の部分空間法および最小二乗法と比較して予測精度に優れるか？
• RQ4 特にスパarsityを活用した場合に、時間窓長およびモーメント次数の観点から、この手法の計算スケーラビリティはいかほどか？
• RQ5 事前構造的情報（例：形状制約）を、学習フレームワークに自然に組み込むことができるか？

主な発見

• 提案手法のNCPOPベースのアプローチは、株価データにおける予測精度でMATLABのシステム同定ツールボックスを上回り、特に高変動期において顕著に優れた性能を示した。
• NPA階層により、LDS学習問題に対するグローバル収束境界が得られ、実行時間は未知の隠れ状態次元に依存しない。
• 非可換TSSOS階層により、時間窓長に伴う実行時間の増加が、通常のNPA階層と比較して抑制された。これは、効果的なスパarsityの活用によるものである。
• NPAのSDP緩和におけるスパarsityは顕著であった（例：非ゼロ係数の比率が高かった）ため、TSSOSによる高速化が可能になった。
• モーメント次数 $k=1$ 時に、複数の株価予測タスクにおいて、ベースラインの最小二乗法と比較して、より低い正規化平均二乗誤差（nrmse）を達成した。
• この手法は、真のシステムダイナミクスが不安定または非ステーションナリティである場合でも、精度を維持するロバスト性を示した。