[論文レビュー] Don't Start From Scratch: Leveraging Prior Data to Automate Robotic Reinforcement Learning

Homer Walke, Jonathan T. Yang+5 more|arXiv (Cornell University)|Jul 11, 2022

Reinforcement Learning in Robotics被引用数 7

ひとこと要約

本論文では、多様なオフラインロボットデータを活用して、新しい操作タスクのための自律的でサンプル効率的かつ一般化可能な強化学習を実現するフレームワーク、ARIELを提案する。事前学習段階で過去のデータに基づいてマルチタスクポリシーを学習し、自己教師付きリセットおよびタスクポリシーを用いてオンラインでファインチューニングすることで、人間によるリセットや大量のオンラインデータ収集を必要とせずに、オラクルのデモンストレーションと同等の性能を達成する。

ABSTRACT

Reinforcement learning (RL) algorithms hold the promise of enabling autonomous skill acquisition for robotic systems. However, in practice, real-world robotic RL typically requires time consuming data collection and frequent human intervention to reset the environment. Moreover, robotic policies learned with RL often fail when deployed beyond the carefully controlled setting in which they were learned. In this work, we study how these challenges can all be tackled by effective utilization of diverse offline datasets collected from previously seen tasks. When faced with a new task, our system adapts previously learned skills to quickly learn to both perform the new task and return the environment to an initial state, effectively performing its own environment reset. Our empirical results demonstrate that incorporating prior data into robotic reinforcement learning enables autonomous learning, substantially improves sample-efficiency of learning, and enables better generalization. Project website: https://sites.google.com/view/ariel-berkeley/

研究の動機と目的

• サンプル非効率性、自律性の欠如、一般化性能の低さといった現実世界のロボット強化学習における課題に対処すること。
• 人間によるリセットなしに最小限のオンライン相互作用で新しい操作タスクを学習できるようにすること。
• タスク固有のデータやデモンストレーションに依存せず、多様な過去データを活用することで一般化性能を向上させること。
• オフライン事前学習とオンラインファインチューニングを統合した包括的なフレームワークを構築すること。
• 過去データが自律性、効率性、耐障害性を実現する主要なメカニズムとして機能できることを実証すること。

提案手法

• オフライン強化学習を用いて、以前に実行されたタスクの多様なオフラインデータセット上でマルチタスクポリシーを事前学習する。
• タスク埋め込みを用いて、ポリシーが前向き（タスク実行）および後向き（リセット）の両方の行動を条件付けられるようにする。
• タスク実行と環境リセットを交互に繰り返す自己教師付きカリキュラムを用いて、オンラインで事前学習済みポリシーをファインチューニングする。
• スパarsな報酬とまれなリセットのみを用いて、マルチタスクポリシーを適応させることで、タスク固有の前向きおよび後向きポリシーを学習する。
• オンラインファインチューニング中にタスク埋め込みを最適化し、ポリシーを新しいタスクの分布に適応させる。
• 前向きおよび後向きポリシーを統合し、人間の介入なしにタスクを自律的に行い、環境をリセットする単一のエージェントを構築する。

実験結果

リサーチクエスチョン

• RQ1 過去のオフラインデータを用いてポリシーを初期化することで、新しいロボット操作タスクの高速かつ自律的学習が可能になるか？
• RQ2 多様な過去データを活用することで、スパarsな報酬を伴う現実世界の強化学習におけるサンプル効率性と一般化性能がどのように向上するか？
• RQ3 人間によるリセットなしに、1つの事前学習済みポリシーをオンラインで適応させ、タスク実行と環境リセットの両方を学習できるか？
• RQ4 学習を初期状態から行うか、オラクルデモンストレーションを用いる場合と比較して、過去データが性能にどの程度寄与するか？
• RQ5 事前学習中に観測されていない新しい物体や環境に対しても、システムはどの程度一般化できるか？

主な発見

• ARIELは、ターゲットタスクのオフラインデモンストレーションにアクセスできるオラクルベースラインと同等の最終的性能を達成しており、優れたサンプル効率性を示している。
• スパarsな報酬、画像ベースのロボット操作タスクにおいて、標準的な強化学習が進展しない状況でも、ARIELは学習から始めることよりも優れた性能を示している。
• ARIELはリセットなしの設定において一貫した学習進捗を実現し、R3Lのような先行する自律学習手法を上回っている。
• 単一タスクデータでの学習に比べ、多様な過去データで事前学習されたポリシーは、未観測タスクへの一般化性能が優れている。
• ARIELは最小限のオンラインデータと人間によるリセットなしに、自律的でエピソードフリーな学習を実現し、新しい操作スキルを効果的に学習した。