[論文レビュー] Iso-Dream: Isolating and Leveraging Noncontrollable Visual Dynamics in World Models

Minting Pan, Xiangming Zhu+2 more|arXiv (Cornell University)|May 27, 2022

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

Iso-Dream は、逆動力学最適化を用いて制御可能および制御不能な視覚的ダイナミクスを別々の潜在状態ブランチに分離することにより、世界モデルにおける制御可能および制御不能な視覚的ダイナミクスを分離する、画期的なモデルベース強化学習フレームワークを提案する。非制御可能なダイナミクスを将来にわたってロールアウトし、アテンションを介して統合することで、エージェントは優れた長時間スパンの意思決定を達成し、CARLA、DeepMind Control Suite、BAIR、RoboNet データセットにおける視覚ベース強化学習の予測および制御タスクで先行手法を上回る性能を発揮する。

ABSTRACT

World models learn the consequences of actions in vision-based interactive systems. However, in practical scenarios such as autonomous driving, there commonly exists noncontrollable dynamics independent of the action signals, making it difficult to learn effective world models. To tackle this problem, we present a novel reinforcement learning approach named Iso-Dream, which improves the Dream-to-Control framework in two aspects. First, by optimizing the inverse dynamics, we encourage the world model to learn controllable and noncontrollable sources of spatiotemporal changes on isolated state transition branches. Second, we optimize the behavior of the agent on the decoupled latent imaginations of the world model. Specifically, to estimate state values, we roll-out the noncontrollable states into the future and associate them with the current controllable state. In this way, the isolation of dynamics sources can greatly benefit long-horizon decision-making of the agent, such as a self-driving car that can avoid potential risks by anticipating the movement of other vehicles. Experiments show that Iso-Dream is effective in decoupling the mixed dynamics and remarkably outperforms existing approaches in a wide range of visual control and prediction domains.

研究の動機と目的

• 自律走行などの制御可能および制御不能な視覚的ダイナミクスが混在する環境において、効果的な世界モデルを学習する課題に対処すること。
• 他の車両の動きなど、将来の非制御可能なダイナミクスを予測可能にすることで、長時間スパンの強化学習を改善すること。
• モジュラー表現学習により、行動に依存する（制御可能）および行動に依存しない（非制御可能）状態遷移を分離することで、世界モデルの分離性を向上させること。
• 将来の非制御可能な状態のロールアウトを活用することで、より高いサンプル効率と予測性能を実現するモデルベース強化学習（MBRL）フレームワークを構築すること。

提案手法

• 潜在状態を2つのブランチに分解：行動に依存するブランチ（制御可能なダイナミクス）と行動に依存しないブランチ（非制御可能なダイナミクス）。
• 状態遷移から行動を再構成する逆動力学最適化を実施し、制御可能および非制御可能な成分の分離を強制する。
• 再構成と分離性を最大化するために、変分下界の目的関数を用いて世界モデルを同時に学習する。
• ポリシーのロールアウト中に、現在の制御可能な状態と将来の非制御可能な状態の予測をアテンション機構を用いて統合する。
• 分離された潜在的イメージを用いて行動を最適化することで、モデルベース強化学習を実行し、前向きな意思決定を可能にする。
• 高次元の視覚的観測を用いて学習し、両ブランチに ST-LSTM ユニットを用いて時系列モデリングを実施する。

実験結果

リサーチクエスチョン

• RQ1 非制御可能な視覚的ダイナミクスを分離することで、視覚ベース強化学習における長時間スパンの意思決定が向上するか？
• RQ2 制御可能および非制御可能なダイナミクスの分離は、世界モデルの精度およびサンプル効率にどのような影響を及ぼすか？
• RQ3 逆動力学最適化が、潜在空間における視覚的ダイナミクスの分離性をどの程度向上させるか？
• RQ4 将来の非制御可能な状態の予測統合は、複雑な視覚環境におけるポリシー性能を向上させるか？

主な発見

• Iso-Dream は、BAIR データセットにおいて動画予測タスクで最先端の性能を達成し、PSNR 19.51、SSIM 0.768 を記録し、SVG や PhyDNet を上回る。
• RoboNet データセットでは、PSNR 21.71、SSIM 0.769 を達成し、SVG より 9.3%、PhyDNet より 7.7% の PSNR の向上を示した。
• 定性的な結果から、行動に依存しないブランチが非制御可能なダイナミクス（例：跳ねるボール）を効果的に捉えているのに対し、行動に依存するブランチは制御可能な運動をモデル化していることが示された。
• CARLA 自律走行ベンチマークでは、他の車両の動きを予測することで、リスクの事前認識が可能になり、より優れた長時間スパンの制御が実現した。
• 長時間のエピソードあたりの学習時間が長いものの、DreamerV2 よりも高いサンプル効率を示しており、複雑な視覚環境における強力な学習効率を示している。
• 本フレームワークは、シミュレーテッド制御タスク、実世界のロボットデータセット、自律走行シミュレーションを含む多様なベンチマークで良好な汎化性能を示した。