[論文レビュー] Memory-Efficient Learning of Stable Linear Dynamical Systems for Prediction and Control

Giorgos Mamakoukas, Orest Xherija+1 more|arXiv (Cornell University)|Jun 6, 2020

Model Reduction and Neural Networks参考文献 36被引用数 10

ひとこと要約

本稿では、安定行列の最新の特徴付けを用いて、最適化の各ステップで安定性を保証する、メモリ効率的で勾配ベースの線形力学的システム（LDS）学習アルゴリズムを提案する。状態行列Aと制御行列Bを同時に更新することで、最先端の手法と比較して、再構成誤差が桁違いに低く、制御性能が優れている。空間計算量はO(n²)であり、ロボットアームや動画像シーケンスといった高次元システムへのスケーリングが可能である。

ABSTRACT

Learning a stable Linear Dynamical System (LDS) from data involves creating models that both minimize reconstruction error and enforce stability of the learned representation. We propose a novel algorithm for learning stable LDSs. Using a recent characterization of stable matrices, we present an optimization method that ensures stability at every step and iteratively improves the reconstruction error using gradient directions derived in this paper. When applied to LDSs with inputs, our approach---in contrast to current methods for learning stable LDSs---updates both the state and control matrices, expanding the solution space and allowing for models with lower reconstruction error. We apply our algorithm in simulations and experiments to a variety of problems, including learning dynamic textures from image sequences and controlling a robotic manipulator. Compared to existing approaches, our proposed method achieves an orders-of-magnitude improvement in reconstruction error and superior results in terms of control performance. In addition, it is provably more memory-efficient, with an O(n^2) space complexity compared to O(n^4) of competing alternatives, thus scaling to higher-dimensional systems when the other methods fail.

研究の動機と目的

• 制御および予測タスクにおいて、安全性が求められるロボット工学や視覚応用分野における安定的でデータ駆動型の線形力学的システムの実現を満たす必要性に対応する。
• 空間計算量が高いためスケーリングに失敗する（O(n⁴)）か、状態行列と制御行列を同時に最適化しない既存手法の限界を克服する。
• 最初の最適化ステップから安定性を保証することで、時間的制約や安全性が求められるシステムにおけるオンラインおよびリアルタイム学習を可能にする。
• 状態行列と制御行列を同時に最適化することで解空間を拡張し、モデルの忠実性と制御性能を向上させる。
• 動的テクスチャモデリングやロボット制御を含む高次元システムにおいて、従来の手法が記憶容量や安定性の制約により失敗する状況でも、本手法の有効性を示す。

提案手法

• リャプノフ方程式に基づく安定行列の最新の特徴付けを活用し、安定なシステム行列の集合を定義することで、射影に基づく最適化を可能にする。
• 射影勾配降下法を用いて、状態行列Aと制御行列Bの両方の閉形式勾配方向を導出。各反復で安定性が維持される。
• 各更新ステップで現在の推定値を安定行列の集合に射影する射影最適化スキームを適用。トレーニング全体を通して安定性が保たれる。
• 再構成誤差の最小化に最小二乗法を用い、安定性制約下での行列微積分により勾配を計算。
• 計算オーバーヘッドを低減するため、効率的なヘッセ行列近似を用いた高速勾配法を採用。高次元システムへのスケーラビリティを実現。
• 入力アフィンLDSに本手法を拡張。AとBの共同勾配を導出し、Bを固定するかAのみ最適化する手法と比較して、制御ダイナミクスのより良い表現を可能にする。

実験結果

リサーチクエスチョン

• RQ1 既存手法よりも、証明可能な低記憶量で、データから安定な線形力学的システムを学習できるか？
• RQ2 状態行列のみを最適化する手法と比較して、状態行列と制御行列を同時に最適化することで、顕著に低い再構成誤差と優れた制御性能が得られるか？
• RQ3 勾配ベースの手法が最適化の各ステップで安定性を強制でき、オンライン学習環境において収束が速く、初期段階から安定性が得られるか？
• RQ4 ロボットアームの制御タスクなど、現実世界の制御タスクにおいて、最先端の安定LDS学習アルゴリズムと比較して、本手法はどのように性能を発揮するか？
• RQ5 記憶容量の制約により既存のO(n⁴)手法が失敗する高次元システム（例：動画シーケンス、ロボットアーム）において、本手法はスケーリング可能か？

主な発見

• 提唱手法は、ベンチマーク用の動的テクスチャデータセットにおいて、現在最高の性能を示す手法（CGおよびWLS）と比較して、桁違いに低い再構成誤差を達成した。
• ロボット制御タスクにおいて、50回の試行平均で0.0799の追従誤差を達成。WLS（38.73）とLS（7556）を大きく上回り、CG（0.0810）とほぼ同等の性能を示した。
• 限られた訓練データ（例：Franka Pandaロボットで600測定値）の下でも、高い性能を維持するという、リソース制限下でのロバスト性を示した。
• 証明可能な記憶効率性を有し、O(n²)の空間計算量を実現。競合手法のO(n⁴)と比較して、高次元システムへのスケーリングが可能である。
• シミュレーション結果は、Franka Emika Pandaロボット上で実験的に検証され、シミュレーション上の制御性能が現実世界の挙動を正確に予測することを示した。
• 本手法は、安定なLDSモデルにおける制御性能を初めて成功裏に評価した。安定性と忠実性が、信頼性の高い制御に不可欠であることを示した。