[論文レビュー] Prediction and Control with Temporal Segment Models

Nikhil Mishra, Pieter Abbeel+1 more|arXiv (Cornell University)|Mar 12, 2017

Gaussian Processes and Bayesian Inference参考文献 21被引用数 22

ひとこと要約

本論文は、過去の状態、過去の行動、計画された将来の行動を条件として、変分オートエンコーダーと潜在行動事前分布を用いて、時間的セグメント全体における未来の状態軌道を予測する深層生成モデルを提案する。この手法により、複雑で確率的なシステムにおいて、セグメント全体にわたる不確実性を包括的にモデル化することで、1ステップモデルよりも優れた軌道最適化およびモデルベース制御タスクにおける安定した長時間予測が可能になる。

ABSTRACT

We introduce a method for learning the dynamics of complex nonlinear systems based on deep generative models over temporal segments of states and actions. Unlike dynamics models that operate over individual discrete timesteps, we learn the distribution over future state trajectories conditioned on past state, past action, and planned future action trajectories, as well as a latent prior over action trajectories. Our approach is based on convolutional autoregressive models and variational autoencoders. It makes stable and accurate predictions over long horizons for complex, stochastic systems, effectively expressing uncertainty and modeling the effects of collisions, sensory noise, and action delays. The learned dynamics model and action prior can be used for end-to-end, fully differentiable trajectory optimization and model-based policy optimization, which we use to evaluate the performance and sample-efficiency of our method.

研究の動機と目的

• 長時間予測において1ステップ動的モデルの不安定性と誤差蓄積を解消すること。
• 衝突やセンサノイズなどの複雑な相互作用を、個々のタイムステップではなく、時間的セグメント全体にわたって包括的に不確実性をモデル化すること。
• 訓練データに整合する行動軌道の潜在事前分布を学習することで、モデルベース強化学習におけるサンプル効率と一般化性能を向上させること。
• 完全に微分可能な生成的動的モデルを用いて、軌道およびポリシー最適化をエンドツーエンドで微分可能にする。
• セグメントベースのモデリングが、確率的かつ非線形な環境において、標準的な1ステップモデルよりも正確で頑健な予測をもたらすかどうかを実証すること。

提案手法

• 本手法は、過去の状態、過去の行動、計画された将来の行動を条件として、未来の状態軌道の条件付き分布をモデリングするための変分オートエンコーダー（VAE）を用いる。
• 最適化された行動が訓練データの分布内に留まるよう保証するため、別個のVAEを導入して行動セグメントの潜在事前分布を学習する。
• 再構成損失とKLダイバージェンスの組み合わせにより訓練される。これにより、不確実性を符号化する分離可能で意味のある潜在表現が得られる。
• 動的モデルと行動事前分布の両方をエンドツーエンドでバックプロパゲーション可能にし、微分可能な軌道最適化を可能にする。
• 時間的依存性を効率的にモデル化するため、畳み込み自己回帰ネットワークを活用する。
• 将来の行動シーケンスを明示的に条件として取り入れることで、不確実性を伴う状態分布を用いた予測的計画が可能になる。

実験結果

リサーチクエスチョン

• RQ1 時間的セグメント全体にわたって未来の状態軌道をモデル化することで、1ステップモデルと比較して長時間予測の正確性が向上するか？
• RQ2 潜在行動事前分布は、モデルベース強化学習における制御ポリシーの整合性とパフォーマンスをどのように向上させるか？
• RQ3 セグメントベースの生成的モデルは、確率的ダイナミクス、衝突、センサノイズに起因する不確実性をどの程度正確に捉えることができるか？
• RQ4 潜在行動事前分布の使用により、訓練時と推論時の行動分布のズレが軽減され、実世界へのポリシー転送性能が向上するか？
• RQ5 このフレームワークは、複雑なロボット環境におけるよりサンプル効率的で安定したポリシー最適化を可能にするか？

主な発見

• 提案手法は、確率的ダイナミクスや衝突を伴う環境において、1ステップモデルよりも顕著に正確な長時間予測を達成する。
• 押し込み環境からの定性的なサンプルから、曲がり角の角度のずれや衝突後の運動の不確実性を効果的に捉えていることが示された。
• 潜在行動事前分布の使用により、最適化中に滑らかで現実的である行動シーケンスが得られ、性能が著しく低下する急激な不連続な行動を回避した。
• 潜在行動事前分布を用いた軌道最適化は、実環境でより高い報酬を達成し、モデル予測と真のダイナミクスとの乖離が小さくなることを示した。
• モデルは、決定論的ではあるが複雑なシステムですら、異なる妥当な将来を表す潜在コードを表現できる意味のある潜在空間を学習した。
• 本手法は、軌道およびポリシー学習の両方におけるエンドツーエンド微分可能最適化を可能にし、モデルベース強化学習における実用性を示した。