[論文レビュー] Asymmetric self-play for automatic goal discovery in robotic manipulation

OpenAI OpenAI, Matthias Plappert+14 more|arXiv (Cornell University)|Jan 13, 2021

Reinforcement Learning in Robotics参考文献 57被引用数 21

ひとこと要約

本論文では、人為的なゴールやカリキュラムを必要とせずに、多様なロボット操作タスクを発見・解決できる単一のゴール条件付き方策を実現するため、非対称自己対戦（asymmetric self-play）を提案する。2つのエージェント——ゴールを提示するアリスと、そのゴールを解くボブ——を訓練することで、カリキュラムが暗黙的かつ自然に生成され、スパarsな報酬とアリスの軌道からの行動コーピング（BC）のみを用いて、ブロックの積み上げやテーブルセッティングといった未観測のタスクに対しゼロショット一般化を達成できる。

ABSTRACT

We train a single, goal-conditioned policy that can solve many robotic manipulation tasks, including tasks with previously unseen goals and objects. We rely on asymmetric self-play for goal discovery, where two agents, Alice and Bob, play a game. Alice is asked to propose challenging goals and Bob aims to solve them. We show that this method can discover highly diverse and complex goals without any human priors. Bob can be trained with only sparse rewards, because the interaction between Alice and Bob results in a natural curriculum and Bob can learn from Alice's trajectory when relabeled as a goal-conditioned demonstration. Finally, our method scales, resulting in a single policy that can generalize to many unseen tasks such as setting a table, stacking blocks, and solving simple puzzles. Videos of a learned policy is available at https://robotics-self-play.github.io.

研究の動機と目的

• これまで未観測の多様なロボット操作タスクを解ける単一のゴール条件付き方策を訓練すること。
• 人為的なゴールや報酬設計に依存せず、多様で挑戦的なゴール分布を自動的に生成すること。
• ゴール設定エージェントの軌道をデモとして活用することで、スパarsな報酬環境下でも効率的な学習を可能にすること。
• 多様な物体や構成を含む複雑な、現実に近い操作タスクへスケーリングすること。
• 未観測のゴールや未観測の物体を含むホールドアウトタスクに対し、ゼロショット一般化を達成すること。

提案手法

• アリス（ゴール設定者）とボブ（ゴール解決者）の2つの強化学習エージェントを、共有の初期状態を持つ同一のロボット環境で同時に訓練する。
• アリスは環境内の物体を操作することでゴールを提示し、ボブは同じ初期状態から同じゴールを解こうとする。
• ボブはスパarsな報酬と密集報酬の組み合わせに加え、アリスの軌道をゴール条件付きデモとして再ラベル化したものを用いた行動コーピング（BC）で訓練される。
• 1エピソード内で複数のゴール（5つ）をアリスが提示し、ボブが順次それらを解こうとする多ゴール設定を採用することで、方策の一般化を促進する。
• エージェント間の相互作用から自然にカリキュラムが生成される：ボブの性能向上に伴いゴールが段階的に複雑化し、劣悪なデモはフィルタリングされる。
• トレーニングの安定性を高めるために、BC損失をクリッピングし、最適化ステップごとの大きな方策更新を防ぐ。

実験結果

リサーチクエスチョン

• RQ1 ロボット操作において、人為的な前提なしに、多様で挑戦的なゴール分布を非対称自己対戦が生成できるか？
• RQ2 非対称自己対戦を経て訓練された単一のゴール条件付き方策は、新しいゴールや物体を含む未観測タスクに対し、ゼロショット一般化を達成できるか？
• RQ3 行動コーピングを用いてアリスの軌道をデモとして活用することで、スパars報酬環境下でのサンプル効率と学習安定性が著しく向上するか？
• RQ4 1エピソードあたり複数ゴールを用いるトレーニングは、単一ゴールベースラインと比較して、方策の一般化性能とトレーニング安定性にどのような差をもたらすか？
• RQ5 非対称自己対戦フレームワークのどの要素（例：BC、デモフィルタリング、カリキュラム）が、成功したゼロショット一般化に不可欠か？

主な発見

• 非対称自己対戦フレームワークにより、1つの方策が10個以上の未観測の操作タスク（ブロックの積み上げ、テーブルセッティング、簡単なパズルの解法など）に対してゼロショット一般化を達成した。
• 非対称自己対戦を用いない場合（ABCなし）では、ボブはすべてのホールドアウトタスクで完全に失敗し、ABCが学習に不可欠であることを示している。
• 行動コーピング損失のクリッピングにより、トレーニングの安定性が向上し、特にピックアンドプレースおよびスタックタスクにおいて学習が加速した。
• 行動コーピングの過程で劣悪なデモをフィルタリングすることで、不安定性が低減し、特にフラップタスクのような複雑なタスクで性能が向上した。
• 1エピソードあたり複数のゴールを用いることで、単一ゴールベースラインと比較して、より高速かつ安定した学習が達成された。これは繰り返しの露出による内部記憶の恩恵を示唆している。
• 計算リソースの増加に伴い、スケーリングされたフレームワークは多様で複雑な物体や構成に対しても一般化でき、そのロバスト性とスケーラビリティを示した。