[論文レビュー] Offline Reinforcement Learning from Images with Latent Space Models

Rafael Rafailov, Tianhe Yu+2 more|arXiv (Cornell University)|Dec 21, 2020

Reinforcement Learning in Robotics参考文献 44被引用数 16

ひとこと要約

LOMPOは、畳み込みエンコーダ、共有の決定的遷移モデル（GRU）、スカラー遷移モデル（MLP）を備えた変分オートエンコーダを用いて、画像系列から分離された潜在表現を学習する、潜在空間モデルに基づくオフライン強化学習アルゴリズムを提案する。潜在空間におけるモデルの不一致を用いて不確実性を定量化し、この不確実性に基づいて報酬をペナルティ化し、不確実性正則化付きMDPにおいて懐疑的（pessimistic）にポリシーを最適化することで、環境とのインタラクションなしに画像ベースの歩行・操作タスクで最先端の性能を達成する。

ABSTRACT

Offline reinforcement learning (RL) refers to the problem of learning policies from a static dataset of environment interactions. Offline RL enables extensive use and re-use of historical datasets, while also alleviating safety concerns associated with online exploration, thereby expanding the real-world applicability of RL. Most prior work in offline RL has focused on tasks with compact state representations. However, the ability to learn directly from rich observation spaces like images is critical for real-world applications such as robotics. In this work, we build on recent advances in model-based algorithms for offline RL, and extend them to high-dimensional visual observation spaces. Model-based offline RL algorithms have achieved state of the art results in state based tasks and have strong theoretical guarantees. However, they rely crucially on the ability to quantify uncertainty in the model predictions, which is particularly challenging with image observations. To overcome this challenge, we propose to learn a latent-state dynamics model, and represent the uncertainty in the latent space. Our approach is both tractable in practice and corresponds to maximizing a lower bound of the ELBO in the unknown POMDP. In experiments on a range of challenging image-based locomotion and manipulation tasks, we find that our algorithm significantly outperforms previous offline model-free RL methods as well as state-of-the-art online visual model-based RL methods. Moreover, we also find that our approach excels on an image-based drawer closing task on a real robot using a pre-existing dataset. All results including videos can be found online at https://sites.google.com/view/lompo/ .

研究の動機と目的

• 環境とのインタラクションなしに、静的で事前に収集された画像データセットから安全かつサンプル効率の良い視覚運動ポリシーを学習すること。
• 高次元の視覚的動的モデルにおける不確実性評価の課題に取り組み、ピxls空間における計算が非現実的であることを考慮する。
• 学習された潜在空間における不確実性を活用することで、画像ベース制御における分布シフトに対する一般化性とロバスト性を向上させること。
• 生観測から得られるオフライン強化学習において、懐疑的かつ理論的に根拠のある、取り扱い可能な手法を構築すること。
• 従来のモデルフリーおよびオンライン視覚モデルベース強化学習手法を、画像ベース制御ベンチマークで上回ること。

提案手法

• 畳み込みエンコーダ、共有の決定的遷移モデル（GRU）、確率的遷移モデル（MLP）を備えた変分オートエンコーダを訓練し、画像系列から分離された潜在表現を学習する。
• 各モデルが同じ決定的遷移を持つが、独立した確率的成分を持つように、潜在動的モデルのアンサンブルを構築する。
• 推論モデルを用いて、観測された画像系列から潜在状態を事後分布サンプリングし、潜在空間における遷移モデリングを可能にする。
• ポリシーから選択された行動と、確率的動的モデルを用いて予測された遷移を用いて、潜在空間で合成ロールアウトを生成する。
• 潜在空間におけるアンサンブルモデル間の不一致に基づいてペナルティ付き報酬を計算し、分布シフトを防ぐ懐疑的正則化項として機能させる。
• 実遷移と合成された潜在遷移を統合したリプレイバッファ上で、オフポリシー手法（例：SAC）を用いてポリシーを最適化し、不確実性ペナルティ付きの報酬を用いる。

実験結果

リサーチクエスチョン

• RQ1 状態表現が利用できない画像ベース制御タスクに、オフラインモデルベース強化学習を効果的に適用できるか。
• RQ2 ピxls空間における直接的な不確実性推定とは対照的に、潜在空間における不確実性評価が、取り扱いやすく効果的な代替手段となるか。
• RQ3 潜在動的モデルにおけるアンサンブル不一致が、一般化性と安全性を向上させるための信頼性のある不確実性の代理指標として機能するか。
• RQ4 生観測から得られる潜在ペナルティ付きMDPで学習することで、標準的なモデルフリーまたはオンラインモデルベース手法よりも優れた性能が得られるか。
• RQ5 提案手法が、ビジョンベース制御におけるマルチタスクおよび分布外設定に一般化可能か。

主な発見

• LOMPOは、DeepMind Control、D’Claw Screw、Adroit Pen、Door Openなどの画像ベース歩行・操作タスクにおいて、最先端のモデルフリー型オフライン強化学習手法を著しく上回る性能を達成した。
• 環境とのインタラクションなしに、オフラインデータのみを用いて学習するにもかかわらず、DreamerV2などのオンライン視覚モデルベース強化学習手法と同等またはそれ以上の性能を達成した。
• 分布外の状態や照明変化に対しても強力な一般化性を示し、分布シフトに対するロバスト性を裏付けた。
• アンサンブル不一致による潜在空間の不確実性の活用が、過学習やモデルの悪用を防ぐ懐疑的正則化効果をもたらした。
• LOMPOは、画像ベース制御タスク、特に実世界のロボット操作タスクにおいても、高いサンプル効率と安定性を達成した。
• アブレーションスタディの結果、不確実性ペナルティ化と潜在動的モデルの使用が性能に不可欠であり、不確実性モデリングの省略により顕著な性能低下が生じた。