[論文レビュー] What Matters in Learning from Offline Human Demonstrations for Robot Manipulation

Ajay Mandlekar, Danfei Xu+8 more|arXiv (Cornell University)|Aug 6, 2021

Reinforcement Learning in Robotics参考文献 84被引用数 70

ひとこと要約

この論文は、ロボット操作における人間のデモンストレーションを用いたオフライン学習の包括的な研究を行い、複数のタスクとデータ品質を横断して6つのアルゴリズムを比較し、観察空間、履歴依存性、データセットサイズに関する実践的な洞察を提供する。

ABSTRACT

Imitating human demonstrations is a promising approach to endow robots with various manipulation capabilities. While recent advances have been made in imitation learning and batch (offline) reinforcement learning, a lack of open-source human datasets and reproducible learning methods make assessing the state of the field difficult. In this paper, we conduct an extensive study of six offline learning algorithms for robot manipulation on five simulated and three real-world multi-stage manipulation tasks of varying complexity, and with datasets of varying quality. Our study analyzes the most critical challenges when learning from offline human data for manipulation. Based on the study, we derive a series of lessons including the sensitivity to different algorithmic design choices, the dependence on the quality of the demonstrations, and the variability based on the stopping criteria due to the different objectives in training and evaluation. We also highlight opportunities for learning from human datasets, such as the ability to learn proficient policies on challenging, multi-stage tasks beyond the scope of current reinforcement learning methods, and the ability to easily scale to natural, real-world manipulation scenarios where only raw sensory signals are available. We have open-sourced our datasets and all algorithm implementations to facilitate future research and fair comparisons in learning from human demonstration data. Codebase, datasets, trained models, and more available at https://arise-initiative.github.io/robomimic-web/

研究の動機と目的

• ロボット操作におけるオフラインの人間デモンストレーションからの学習の課題を評価する。
• さまざまな品質のデータセットを用いた、シミュレーションと実世界のタスクを横断する6つのオフライン学習アルゴリズムを比較する。
• 履歴、観察空間、ハイパーパラメータなど、性能に重大な影響を与える設計選択を特定する。
• 再現性のある研究を可能にする実践的なガイドラインとオープンソースのデータセット/コードを提供する。

提案手法

• 6つのアルゴリズムを評価する: Behavioral Cloning (BC)、BC with RNN (BC-RNN)、Hierarchical BC (HBC)、BCQ、Conservative Q-Learning (CQL)、および IRIS。
• 5つのシミュレーションタスクと3つの実世界のマルチステージ操作タスクを用いる。
• 低次元および画像観測空間を用いた Machine-Generated、Proficient-Human、Multi-Human ソースからデータセットを収集する。
• 二値のタスク報酬でポリシーを訓練し、オンラインでチェックポイントを評価して最良のポリシーを特定する。
• 観察空間、履歴、データセットサイズ、ハイパーパラメータの影響を分析する。
• 公平な比較のためにオープンソースのデータセット、コード、訓練済みモデルを提供する。

実験結果

リサーチクエスチョン

• RQ1 履歴依存モデルは静的ポリシーと比較して人間のデモンストレーションから学習する際にどのように性能を発揮するか？
• RQ2 データ品質（単一対多人数）はオフライン学習の性能にどう影響するか？
• RQ3 観察空間（低次元 vs 画像）の影響は人間データからのポリシー学習にどう影響するか？
• RQ4 データセットサイズとハイパーパラメータは操作タスクのオフライン学習にどう影響するか？
• RQ5 シミュレーションの知見は実世界のロボットタスクに転用できるか？

主な発見

• 履歴依存モデル（BC-RNN、HBC、IRIS）は、人間データセットで非時系列のベースラインよりも優れており、特に長期目標タスクとマルチ人間データで顕著である。
• バッチRL手法（BCQ、CQL）は機械生成データで優れている一方、人間デモには苦戦する。
• 観察空間とハイパーパラメータは性能に大きく影響する。関連する proprioceptive 信号を含めると役立つことがあり、不要な信号は悪化させることもある。ピクセルのランダム化と手首カメラの観測は視運動学習を改善する。
• より大きく高品質な人間データセットは複雑なタスクで有能なポリシーを可能にする。シミュレーションの結果は、観察と訓練の選択に注意を払えば実世界のタスクへ転移する。
• オフラインRLにおけるモデル選択は容易ではない。シミュレーションでオンラインにポリシーを評価すると、検証損失や最終チェックポイントの選択とは異なる最良のポリシーになることがある。
• 実世界の視運動模倣にとって、手首装着カメラの観測と画像のランダム化は重要である。