[論文レビュー] Adaptive Path-Integral Autoencoder: Representation Learning and Planning for Dynamical Systems

Jung-Su Ha, Youngjin Park+3 more|arXiv (Cornell University)|Jul 5, 2018

Model Reduction and Neural Networks参考文献 70被引用数 5

ひとこと要約

本論文は、半アモルタイズド変分推論と経路積分制御を組み合わせた適応的パス・インテグラルオートエンコーダー（APIAE）を提案する。この手法は、動画のような高次元時系列データから低次元の潜在的ダイナミクスを学習することを目的としている。事後分布推論を確率的最適制御問題として定式化することで、APIAEは適応的パス・インテグラル法を用いて変分パラメータを反復的に改善し、よりタイトな変分下界を達成するとともに、潜在空間における効果的な計画を可能にする。実験では、運動予測および障害物回避のためのロボットの歩行計画に成功している。

ABSTRACT

We present a representation learning algorithm that learns a low-dimensional latent dynamical system from high-dimensional extit{sequential} raw data, e.g., video. The framework builds upon recent advances in amortized inference methods that use both an inference network and a refinement procedure to output samples from a variational distribution given an observation sequence, and takes advantage of the duality between control and inference to approximately solve the intractable inference problem using the path integral control approach. The learned dynamical model can be used to predict and plan the future states; we also present the efficient planning method that exploits the learned low-dimensional latent dynamics. Numerical experiments show that the proposed path-integral control based variational inference method leads to tighter lower bounds in statistical model learning of sequential data. The supplementary video: https://youtu.be/xCp35crUoLQ

研究の動機と目的

• 時系列データモデリングにおける変分推論における事後分布推論の困難な問題に対処すること。
• 変分パラメータの反復的改善を導入することで、アモルタイズド推論におけるアモルタイズーションギャップを低減すること。
• 制御-推論双対性を活用し、事後分布推論を確率的最適制御問題に変換すること。
• 微分可能な改善ステップを用いて、表現学習および計画のためのエンド・ツー・エンド訓練を可能にすること。
• 改善された変分推論が、力学系におけるモデル学習と将来状態予測の両方を向上させることを実証すること。

提案手法

• 初期状態と制御入力を用いて変分分布をパrameter化することで、制御-推論双対性を実現する。
• 経路積分アプローチを用いて、事後分布推論を確率的最適制御（SOC）問題に再定式化する。
• 適応的パス・インテグラル制御を適用し、変分パラメータを反復的に改善することで、近似の質を向上させる。
• 構造化された推論ネットワークを用いて変分パラメータを出力し、潜在ダイナミクスのマルコフ性を保証する。
• 微分可能な改善ステップを用いることで、推論プロセス全体を通じたバックプロパゲーションを可能にし、エンド・ツー・エンド訓練を実現する。
• 学習された低次元の潜在ダイナミクスを用いて、将来の観測系列の効率的な計画を実現する。

実験結果

リサーチクエスチョン

• RQ1 経路積分制御は、時系列データモデリングにおける変分分布の改善に効果的に適用可能か？
• RQ2 反復的改善を伴う半アモルタイズド推論は、標準的なアモルタイズド手法と比較して、よりタイトな変分下界を達成するか？
• RQ3 学習された潜在ダイナミクスモデルは、効果的かつ多様な将来状態の予測と計画を可能にするか？
• RQ4 リサンプリングと改善の両方を含めた場合、再構成と予測の両面でモデル性能にどのような影響を与えるか？
• RQ5 制御-推論双対性は、高次元時系列データにおける事後分布近似の質をどの程度向上させるか？

主な発見

• APIAEはmocapデータセットで-6.680の下界を達成し、FIVO（-6.687）とIWAE（-6.683）を上回り、よりタイトな変分推論であることを示している。
• リサンプリングを含まないAPIAEは、mocapデータセットで最良の予測性能（テスト損失：-1.845）を示し、リサンプリングを含むモデルを上回った。
• モデルは運動シーケンスを正確に再構成できており、可視化結果から歩行フェーズや運動パターンの再現が良好に行われている。
• 計画の結果、障害物を避ける自然な歩行が実現され、同じ初期ポーズからも多様な予測が得られ、学習された不確実性が反映されていた。
• フレームワークにより、低次元の潜在ダイナミクスを用いて、高次元の観測空間の効果的な探索が可能になった。
• 実験の結果、リサンプリングは再構成と下界のタイトニングに有益であるが、勾配バイアスのため予測にはあまり効果がなく、最適な用途は計画に限られることが示された。