[論文レビュー] Learning to Filter with Predictive State Inference Machines

Wen Sun, Arun Venkatraman+2 more|arXiv (Cornell University)|Dec 30, 2015

Machine Learning and Algorithms参考文献 30被引用数 7

ひとこと要約

この論文では、予測状態表現（PSR）を用いて推論を教師あり学習問題として定式化することで、潜在状態空間モデルのフィルタリング方策を直接学習するデータ駆動型手法である予測状態推論マシン（PSIM）を紹介する。予測状態と観測値を入力として次回の予測状態を予測する予測器を訓練することで、実現可能かつ一般化された設定の両方で理論的性能保証を達成し、特徴量の複雑さを著しく低減することで、シミュレート済みおよび実世界のロボティクスベンチマークで従来手法を上回る性能を発揮する。

ABSTRACT

Latent state space models are a fundamental and widely used tool for modeling dynamical systems. However, they are difficult to learn from data and learned models often lack performance guarantees on inference tasks such as filtering and prediction. In this work, we present the PREDICTIVE STATE INFERENCE MACHINE (PSIM), a data-driven method that considers the inference procedure on a dynamical system as a composition of predictors. The key idea is that rather than first learning a latent state space model, and then using the learned model for inference, PSIM directly learns predictors for inference in predictive state space. We provide theoretical guarantees for inference, in both realizable and agnostic settings, and showcase practical performance on a variety of simulated and real world robotics benchmarks.

研究の動機と目的

• MLE やスペクトル学習などの従来の潜在状態空間モデル学習手法に見られる性能保証の欠如、特にモデル不一致下での課題に対処すること。
• 教師付き学習を用いることで推論マシンの限界を克服し、予測状態表現（PSR）を活用して観測値のみからエンドツーエンドの学習を可能にすること。
• 生成モデルを事前に学習する必要を回避し、推論手順自体を教師あり学習タスクとして直接フィルタリング性能を最適化すること。
• 一般非線形動的システムに対して、実現可能かつ一般化された設定の両方でフィルタリング性能に関する理論的保証を提供すること。
• 予測状態表現が、生の観測履歴よりもよりコンactかつ効果的な特徴空間を提供できることを示すこと。

提案手法

• PSIMは、現在の予測状態と観測値を入力として次回の予測状態を出力する予測器の合成としてフィルタリングをモデル化し、ブラックボックスの教師あり学習器を用いる。
• 明示的な潜在状態推定を避けるために、予測状態表現（PSR）を用いて将来の観測値の信念を表現する。
• 2つの訓練アルゴリズムを提案：データ効率性を重視するDAggerベースと、実現可能設定での一貫性を確保する前方学習。
• 実際に得られた将来の観測値の尤度に基づく損失関数を用いることで、エンドツーエンド最適化を可能にする。
• 線形および非線形回帰器（例：RFF、リッジ回帰）をサポートし、バックプロパゲーションを用いてDAggerの解を改善する。
• 予測状態はk個の将来の観測値の期間にわたって定義され、より長い期間はより多くの情報を捉え、性能向上に寄与する。

実験結果

リサーチクエスチョン

• RQ1 潜在状態空間モデルの非教師あり学習を、理論的性能保証を維持したまま教師あり学習問題に還元できるか？
• RQ2 予測状態予測器を用いた直接的なエンドツーエンド学習が、従来のモデルベース手法に比べて推論精度と耐障害性において優れているか？
• RQ3 真のシステムが仮定されたモデルクラスに含まれないモデル不一致（一般化設定）下でも、PSIMは強固な性能を維持できるか？
• RQ4 予測状態の期間kの選択が、フィルタリング精度と特徴量効率にどのように影響するか？
• RQ5 PSIMは、ロボット操作やモーションキャプチャのような複雑な実世界の動的システムに対しても、効果的に一般化できるか？

主な発見

• DAggerを用いたPSIMは、AR-kモデルと比較して、限られた訓練データ下でも全ベンチマークで優れた性能を発揮し、AR-kの70次元空間に比べてよりコンactな6次元の予測状態表現のおかげである。
• ロボットドリルアセンブリデータセットでは、線形リッジ回帰を用いたPSIM（DAgger）が1ステップフィルタリング誤差2.05±0.08を達成し、ベースライン手法を上回った。
• 動画テクスチャのタスクでは、RFFを用いたPSIMがk=1と比較して誤差を32%削減し、より長い予測状態期間の利点を示した。
• バックプロパゲーションによる解の改善を施したPSIMはDAggerに比べてわずかな改善に留まり、DAggerがすでに高品質な解を探索していることを示唆した。
• マルチステップ予測において、PSIMは全データセットでAR-kおよびベースラインモデルを一貫して上回った。フラッグの揺れやビーチの波の複雑な動的特性に対しても同様の優位性を示した。
• ビーチ動画ではk=1とk=5の間で性能差が最も顕著で32%の改善が確認され、より長い期間がより情報を含む予測状態をエンコードしていることを裏付けた。