[論文レビュー] AW-Opt: Learning Robotic Skills with Imitation and Reinforcement at Scale

Yao Lu, Karol Hausman+9 more|arXiv (Cornell University)|Nov 9, 2021

Robot Manipulation and Learning被引用数 10

ひとこと要約

AW-Opt は、アドバンテージ重み付き回帰と QT-Opt の原則を組み合わせることで、模倣学習とオフライン強化学習を統合するスケーラブルなアクタクリティック強化学習アルゴリズムです。多様なオフラインデータ（模倣データや劣化した経験を含む）からの効率的で安定した学習を可能にし、シミュレーテッドおよび実世界のロボット操作タスクにおいて、QT-Opt や AWAC などの先行手法を上回る性能を発揮します。

ABSTRACT

Robotic skills can be learned via imitation learning (IL) using user-provided demonstrations, or via reinforcement learning (RL) using large amountsof autonomously collected experience.Both methods have complementarystrengths and weaknesses: RL can reach a high level of performance, but requiresexploration, which can be very time consuming and unsafe; IL does not requireexploration, but only learns skills that are as good as the provided demonstrations.Can a single method combine the strengths of both approaches? A number ofprior methods have aimed to address this question, proposing a variety of tech-niques that integrate elements of IL and RL. However, scaling up such methodsto complex robotic skills that integrate diverse offline data and generalize mean-ingfully to real-world scenarios still presents a major challenge. In this paper, ouraim is to test the scalability of prior IL + RL algorithms and devise a system basedon detailed empirical experimentation that combines existing components in themost effective and scalable way. To that end, we present a series of experimentsaimed at understanding the implications of each design decision, so as to develop acombined approach that can utilize demonstrations and heterogeneous prior datato attain the best performance on a range of real-world and realistic simulatedrobotic problems. Our complete method, which we call AW-Opt, combines ele-ments of advantage-weighted regression [1, 2] and QT-Opt [3], providing a unifiedapproach for integrating demonstrations and offline data for robotic manipulation.Please see https://awopt.github.io for more details.

研究の動機と目的

• ロボット制御のための模倣学習と強化学習を効果的に統合するスケーラブルで統一された手法の開発。
• 既存の IL+RL 手法が多様なオフラインデータを処理する際の限界や、複雑な実世界タスクへのスケーラビリティの問題に対処すること。
• 先行アルゴリズム（例：AWAC や QT-Opt）からの重要な設計意思決定を同定・統合し、パフォーマンスと安定性の向上を図ること。
• 異なるデータソースとタスク難易度を有する多様なシミュレーテッドおよび実世界のロボット操作タスクにおいて、本手法の評価を行うこと。
• ハイブリッドアプローチが、模倣データと劣化したオフラインデータを活用しつつ、効果的なオンラインファインチューニングを可能にすることを実証すること。

提案手法

• AW-Opt は、アドバンテージ重み付き回帰（AWR）と、価値ベースのオフポリシー強化学習フレームワークである QT-Opt を統合することで、オフラインの模倣学習とオンラインの強化学習を統合する。
• 行動コーディングと Q-学習の目的関数を組み合わせたハイブリッド損失関数を採用し、模倣データとオフライン経験の両方からの安定した方策更新を可能にする。
• 二段階のトレーニングプロセスを採用：まず模倣データと劣化データを用いたオフライン事前学習フェーズを実施し、その後、ポリシーのロールアウトを用いたオンラインファインチューニングに移行する。
• オフラインデータにポジティブおよびネガティブな軌道を組み込むことで、ネガティブ例を無視する手法に比べて、より高い耐性を発揮する。
• DQN や TD3 と同様に、ターゲット Q ネットワークと経験リプレイを用いることで、オンラインファインチューニング中のトレーニング安定性を向上させる。
• 実世界タスクにおけるスパarsなバイナリ報酬に対応するため、しきい値ベースのポジティブフィルタリング機構を適用する。

実験結果

リサーチクエスチョン

• RQ1 統一されたアルゴリズムが、複雑なロボット操作タスクへのスケーリングを実現するために、模倣学習と強化学習を効果的に統合できるか？
• RQ2 IL+RL アルゴリズムにおける個々の設計意思決定が、実世界およびシミュレーテッド環境におけるパフォーマンスとスケーラビリティに与える影響は何か？
• RQ3 ポジティブおよびネガティブな軌道を含むオフラインデータを効果的に活用することで、オンライン強化学習のブートストラップが可能になるか？
• RQ4 AWR 方式の行動コーディングと QT-Opt 方式の価値ベース強化学習を統合することで、先行手法に比べてより優れたサンプル効率と最終的パフォーマンスが達成できるか？
• RQ5 オフラインデータで学習した手法が、広範なオンラインファインチューニングを経ずに、実世界のロボットデプロイメントに一般化できる程度はどの程度か？

主な発見

• Task 3（実世界の不特定 grasping タスク）では、ポジティブな模倣データのみを用いても、AW-Opt は 52.53% の成功率を達成し、AWAC（44.21%）と QT-Opt（0%）を上回った。
• Task 5（実世界のインスタンス grasping タスク）では、オンラインファインチューニング後、AW-Opt は 48.89% の成功率を達成したが、QT-Opt や AWAC は両者とも失敗（0%）であった。
• シミュレーション環境では、AW-Opt は QT-Opt や AWAC よりもオンラインファインチューニングで優れたパフォーマンスを発揮し、特に難易度の高い Task 5 において、より高い最終的成功率と高速な収束を達成した。
• AW-Opt はポジティブおよびネガティブなオフラインデータを効果的に活用したが、AWAC はネガティブ例が含まれると失敗し、QT-Opt はポジティブのみのデータからは学習できなかった。
• 本手法は、実世界へのデプロイメントに強く一般化し、2つの異なる実ロボットプラットフォームおよび複数のタスクバリアントにおいても性能を維持した。
• アブレーションスタディの結果、AW-Opt の各コンponent（特に AWR と QT-Opt の統合）が、パフォーマンス向上に顕著な貢献を果たしていることが確認された。