[論文レビュー] Parrot: Data-Driven Behavioral Priors for Reinforcement Learning

Avi Singh, Huihan Liu+4 more|arXiv (Cornell University)|Nov 19, 2020

Reinforcement Learning in Robotics参考文献 75被引用数 27

ひとこと要約

PARROTは、多様な事前タスクからの成功したトラジェクトリを用いて、ノイズベクトルから複雑で高次元の行動へと逆写像を学習することで、強化学習におけるデータ駆動型の行動事前分布を導入する。この事前分布により、画像観測とスパarsな報酬からの新しいロボット操作タスクの高速かつサンプル効率の良い学習が可能となり、標準的なRLが失敗する困難な環境でも顕著に優れた性能を発揮する。

ABSTRACT

Reinforcement learning provides a general framework for flexible decision making and control, but requires extensive data collection for each new task that an agent needs to learn. In other machine learning fields, such as natural language processing or computer vision, pre-training on large, previously collected datasets to bootstrap learning for new tasks has emerged as a powerful paradigm to reduce data requirements when learning a new task. In this paper, we ask the following question: how can we enable similarly useful pre-training for RL agents? We propose a method for pre-training behavioral priors that can capture complex input-output relationships observed in successful trials from a wide range of previously seen tasks, and we show how this learned prior can be used for rapidly learning new tasks without impeding the RL agent's ability to try out novel behaviors. We demonstrate the effectiveness of our approach in challenging robotic manipulation domains involving image observations and sparse reward functions, where our method outperforms prior works by a substantial margin.

研究の動機と目的

• 新しいタスクにおける強化学習（RL）の高いデータ要件を、事前の経験を活用することで解決すること。
• 自然言語処理やコンピュータビジョンにおける事前学習モデルの役割を模倣するRLの事前学習フレームワークを開発すること。
• 多様なタスクにおける成功した試行から入力-出力の関係を捉えた行動事前分布を学習すること。
• 新しい環境において効果的な探索を可能にするとともに、新しい行動の完全な制御を維持すること。
• 未確認の物体を含むスパarsな報酬のロボット操作タスクにおけるサンプル効率の向上を図ること。

提案手法

• 成功したトラジェクトリからの観測された行動の条件付き対数尤度を最大化するように、単位ガウスノイズから環境行動への可逆な正規化フローを学習する。
• 報酬ラベルなしに、多様な操作タスクからの近似的最適な状態-行動トラジェクトリのマルチタスクデータセットを用いる。
• 学習されたマッピングを現在の観測で条件づけることで、新しい環境で文脈的に適切な行動を生成する。
• RLエージェントが単位ガウス分布からサンプリングし、可逆な事前分布を用いて行動を生成できるようにする。これにより、すべての元の行動空間がカバーされる。
• マッピングの可逆性を活用して、データセットでめったに観測されない行動であっても、元の環境行動がすべて到達可能であることを保証する。
• オフポリシーRL（例：SAC）を用いて事前分布を微調整することで、新しいタスクに適応しつつも、事前分布の探索バイアスを維持する。

実験結果

リサーチクエスチョン

• RQ1 多様な事前タスクから学習したデータ駆動型の行動事前分布は、新しいロボット操作タスクにおける強化学習を加速できるか？
• RQ2 事前分布の可逆構造は、スパarsな報酬設定における探索とポリシー学習の効率にどのように影響するか？
• RQ3 事前分布は、以前に見たことのない物体を含むタスクにどの程度一般化できるか？
• RQ4 データセットのサイズと分布は、行動事前分布の性能にどのように影響するか？
• RQ5 下流タスクがトレーニングタスクと著しく異なる場合、特に必要な行動が異なる場合、どのような影響が生じるか？

主な発見

• PARROTは、行動クラーニング、TrajRL、HIRLといった先行手法を著しく上回り、画像観測とスパarsな報酬からの新しい操作タスクの学習を実現している。
• 標準的なRLから再学習を試みた場合に完全に失敗する未確認の物体を含むタスクにおいても、高い成功確率を達成している。
• たった10,000件のトラジェクトリでの学習でも強力な性能を発揮し、25,000件を超えると収益の逓減が顕著になる。
• 把持タスクのみで事前学習した場合、後続の把持タスクにはうまく一般化するが、グリッパーを開く行動がトレーニングデータに存在しないため、ピックアンドプレースタスクでは失敗する。
• 非可逆な事前分布を用いたアブレーション実験（Prior-explore）では、学習が不安定になり、収束が遅くなることが示され、可逆性の重要性が浮き彫りになった。
• 行動事前分布は、ランダムポリシーに比べて初期探索を高速化できるが、その主な利点は、表現力に富んだ可逆表現のおかげで、初期性能を超えて持続的な改善が得られることにある。