[論文レビュー] Switching Linear Dynamics for Variational Bayes Filtering

Philip Becker-Ehmck, Jan Peters+1 more|arXiv (Cornell University)|May 29, 2019

Gaussian Processes and Bayesian Inference被引用数 32

ひとこと要約

本稿では、高次元で部分観測されたデータからより豊かで解釈可能な潜在表現を学習するために、変分ベイズ推論を用いた確率的スイッチング線形動的システム（SLDS）を提案する。スイッチング変数をコンクリートリラックスーションでモデル化し、変分オートエンコーダフレームワークに統合することで、動的予測精度が向上し、KVAEなどのベースラインモデルを上回り、FitzHugh-Nagumoオシレーターおよび画像観測を伴う迷路ナビゲーションといった複雑なタスクにおいてTrSLDSと同等の性能を達成する。

ABSTRACT

System identification of complex and nonlinear systems is a central problem for model predictive control and model-based reinforcement learning. Despite their complexity, such systems can often be approximated well by a set of linear dynamical systems if broken into appropriate subsequences. This mechanism not only helps us find good approximations of dynamics, but also gives us deeper insight into the underlying system. Leveraging Bayesian inference, Variational Autoencoders and Concrete relaxations, we show how to learn a richer and more meaningful state space, e.g. encoding joint constraints and collisions with walls in a maze, from partial and high-dimensional observations. This representation translates into a gain of accuracy of learned dynamics showcased on various simulated tasks.

研究の動機と目的

• 非線形系における衝突やジョイント制限などの構造的制約を符号化する、より解釈可能で意味のある潜在状態表現を学習すること。
• スイッチングダイナミクスを確率的にモデル化することで、高次元かつ部分観測された時系列データにおける動的予測精度を向上させること。
• 従来の変分オートエンコーダが遷移を決定論的に扱うという限界を克服し、スイッチング状態に対する構造的で確率的な推論を導入すること。
• スイッチング変数の近似法（コンクリート分布 vs. 正規分布）が時間離散化スケールに対するモデルのロバストネスに与える影響を評価すること。
• 分離可能で物理的に意味のある潜在ダイナミクスを学習することで、モデルベース強化学習や制御の向上を図ること。

提案手法

• スイッチング変数をコンクリート分布を用いて連続的かつ微分可能であるとみなすことで、エンドツーエンドの学習が可能な確率的SLDSモデルを定式化する。
• SLDSモデルを変分オートエンコーダフレームワークに統合し、部分観測からの潜在状態とスイッチングダイナミクスの共同推論を可能にする。
• 潜在状態とスイッチング変数の事後分布を近似するために、アンモラライズド推論ネットワークを用いた構造的変分推論を採用する。
• スイッチングゲートを通過する逆伝播を可能にするために、離散的スイッチング変数にコンクリートリラックスーションを適用する。
• 初期状態変数 h を特別に設けた階層的生成モデルを採用し、最初の時刻ステップを残りの時系列から分離する。
• 構造的推論と確率的モデリングを活用し、複雑な系において局所的線形ダイナミクスとグローバルなスイッチング行動の両方を捉える。

実験結果

リサーチクエスチョン

• RQ1 微分可能スイッチング変数を用いた確率的スイッチングダイナミクスは、非線形系における潜在表現の質と動的予測精度を向上させ得るか？
• RQ2 スイッチング変数の分布の選択（コンクリート分布 vs. 正規分布）が、時間離散化スケールに対するモデルのロバストネスに与える影響はいかほどか？
• RQ3 提案手法は、物理的制約（例：壁への衝突、ジョイント制限）を解釈可能な潜在状態にどれほど分離して表現できるか？
• RQ4 画像観測および連続的観測タスクにおける長期間予測において、従来のVAEベースのベースラインを上回る性能を示すか？
• RQ5 学習された潜在ダイナミクスは、モデルベース制御やシミュレーションに有効に利用できるか？

主な発見

• 跳ねるボール環境において、提案モデルは滑らかなKVAEベースラインを上回り、特に10ステップを超える長期間予測において顕著な優位性を示す。
• FitzHugh-Nagumoオシレーターにおいて、最先端のTrSLDSモデルと同等の予測性能を達成し、非線形力学系における優れた一般化能力を示す。
• コンクリート分布を用いたスイッチング変数のモデルでは、時間間隔Δtが大きくなると性能が急激に低下する傾向が強く、正規分布を用いた場合よりも感受性が高い。
• 物理的制約（壁への衝突、ジョイント制限など）が潜在空間にうまく符号化され、より解釈可能で構造的な表現が得られている。
• 確率的スイッチング変数の導入により、より豊かな潜在空間が得られ、シミュレーション精度の向上と多様なタスクへの一般化性能の向上が実現された。
• 画像観測（例：32×32のバイナリフレームによるボールの運動）に対しても強固な性能を維持しており、高次元入力に対するロバストネスを示している。