[論文レビュー] Model-Based Reinforcement Learning via Latent-Space Collocation

Oleh Rybkin, Chuning Zhu+4 more|arXiv (Cornell University)|Jun 24, 2021

Reinforcement Learning in Robotics被引用数 7

ひとこと要約

この論文では、行動ではなく潜在状態の系列を最適化することで、長時間スケールの視覚的意思決定を向上させるモデルベース強化学習手法LatCoを提案する。学習済み潜在ダイナミクスモデルを活用し、コロケーションに基づく軌道最適化を適用することで、従来のシューティングベース手法が失敗する、報酬がスパarsな長時間スケールのロボット操作タスクにおいて優れた性能を達成する。特に不確実性下でも顕著である。

ABSTRACT

The ability to plan into the future while utilizing only raw high-dimensional observations, such as images, can provide autonomous agents with broad capabilities. Visual model-based reinforcement learning (RL) methods that plan future actions directly have shown impressive results on tasks that require only short-horizon reasoning, however, these methods struggle on temporally extended tasks. We argue that it is easier to solve long-horizon tasks by planning sequences of states rather than just actions, as the effects of actions greatly compound over time and are harder to optimize. To achieve this, we draw on the idea of collocation, which has shown good results on long-horizon tasks in optimal control literature, and adapt it to the image-based setting by utilizing learned latent state space models. The resulting latent collocation method (LatCo) optimizes trajectories of latent states, which improves over previously proposed shooting methods for visual model-based RL on tasks with sparse rewards and long-term goals. Videos and code at https://orybkin.github.io/latco/.

研究の動機と目的

• 長時間スケールで高次元の視覚的強化学習タスクにおける行動ベース計画の限界を解消すること。
• 画像空間ではなく、学習済みの低次元潜在空間で計画することで、報酬の割り当てと軌道最適化を改善すること。
• 将来の状態分布をモデル化することで、決定論的手法とは異なり、不確実性下での効果的な計画を可能にすること。
• 深層潜在ダイナミクスモデルを用いて、画像観測にまで拡張可能なコロケーションという強力な最適制御技術をスケーリングすること。
• 報酬形状の調整を必要とせず、既存のモデルベース強化学習フレームワークに即座に統合可能な、プラグアンドプレイ型の最適化器を提供すること。

提案手法

• LatCoは、高次元の観測（画像）を低次元でマルコフ的である潜在空間に写像するため、変分オートエンコーダーに基づく潜在ダイナミクスモデルを用いる。
• 軌道最適化を制約付き最適化問題として定式化する：累積報酬を最大化すると同時に、状態遷移制約 $ s_{t+1} = f(s_t, a_t) $ を通じてダイナミクスの整合性を保証する。
• 勾配ベース最適化を用いて、サンプリングベースのシューティング手法よりも優れた性能を得るために、潜在状態と行動の系列を同時に最適化する。
• 決定論的および確率的計画の両方をサポートし、ガウス分布を用いたLatCoは、確率的環境におけるロバストネスを向上させる。
• 任意の微分可能なダイナミクスモデルと互換性があり、既存のモデルベース強化学習パイプラインにプラグイン型の最適化器として統合可能である。
• 計算コストを低減するため、タスク固有の効率的最適化器を用いることで、最適化変数の増加にもかかわらず実用的導入を可能にする。

実験結果

リサーチクエスチョン

• RQ1 学習済み潜在空間におけるコロケーションベースの軌道最適化は、長時間スケールの視覚的強化学習タスクにおいて、行動ベースのシューティング手法を上回ることができるか？
• RQ2 潜在状態空間での計画は、報酬がスパarsで長時間スケールのタスクにおいて、報酬の割り当てと収束性をどのように改善するか？
• RQ3 サンプリングベース手法が失敗する確率的環境において、LatCoは不確実性を効果的に扱えるか？
• RQ4 確率的潜在状態表現を用いることで、平均値ベースの計画に比べて、期待報酬推定が向上するか？
• RQ5 報酬形状の調整や広範なハイパーパramータチューニングなしに、LatCoは複雑な視覚的操作タスクにスケーリング可能か？

主な発見

• LatCoは、報酬がスパarsな長時間スケールのツール使用およびナビゲーションタスクにおいて、CEM やシューティングベースのアプローチを含むすべてのベースライン手法を上回る性能を発揮した。
• ラッキータスクでは、唯一ガウス分布を用いたLatCoが不確実性を考慮してトップゴールを正しく計画したが、決定論的手法やCEMは楽観的または悲観的なバイアスにより失敗した。
• LatCoは高いサンプル効率と一般化性能を示し、同じ訓練予算内では従来の視覚的モデルベース強化学習手法が学習に失敗するタスクを解消できた。
• 確率的環境においてもロバストネスを示し、ガウス分布を用いたLatCoは複数のランダムシードおよびタスク変種で安定した性能を達成した。
• 報酬形状の調整や手動によるカリキュラム設計への依存を低減し、複雑で時間的に延長されたタスクにおけるエンドツーエンド学習を可能にした。
• 実験的結果から、LatCoの潜在空間最適化は、画像空間でのコロケーションや行動空間でのシューティングに比べ、収束が早く、最終的な性能も優れていることが示された。