[論文レビュー] Error-Aware Imitation Learning from Teleoperation Data for Mobile Manipulation

Josiah Wong, Albert Tung+5 more|arXiv (Cornell University)|Dec 9, 2021

Robot Manipulation and Learning被引用数 5

ひとこと要約

本論文では、モバイルマニピュレーションにおける高品質なヒューマンデモの収集を目的とした新規な遠隔操作システムMoMaRTを提案し、分布外状態を検出するためのエラー認識型の状態推定フレームワークを導入した。模擬キッチン環境で収集された1200件のデモデータセットを用いて学習した本手法は、マルチステージタスクにおいて45%を超えるタスク成功率と85%のエラー検出精度を達成した。

ABSTRACT

In mobile manipulation (MM), robots can both navigate within and interact with their environment and are thus able to complete many more tasks than robots only capable of navigation or manipulation. In this work, we explore how to apply imitation learning (IL) to learn continuous visuo-motor policies for MM tasks. Much prior work has shown that IL can train visuo-motor policies for either manipulation or navigation domains, but few works have applied IL to the MM domain. Doing this is challenging for two reasons: on the data side, current interfaces make collecting high-quality human demonstrations difficult, and on the learning side, policies trained on limited data can suffer from covariate shift when deployed. To address these problems, we first propose Mobile Manipulation RoboTurk (MoMaRT), a novel teleoperation framework allowing simultaneous navigation and manipulation of mobile manipulators, and collect a first-of-its-kind large scale dataset in a realistic simulated kitchen setting. We then propose a learned error detection system to address the covariate shift by detecting when an agent is in a potential failure state. We train performant IL policies and error detectors from this data, and achieve over 45% task success rate and 85% error detection success rate across multiple multi-stage tasks when trained on expert data. Codebase, datasets, visualization, and more available at https://sites.google.com/view/il-for-mm/home.

研究の動機と目的

• ナビゲーションとマニピュレーションの複合的要因により、モバイルマニピュレーションのための高品質なヒューマンデモ収集が困難であるという課題に対処する。
• 政策の失敗を引き起こす分布外状態を検出することで、アシスト学習における共変量シフトを克服する。
• オペレータがロボットが感知する視覚入力のみに制限される、スケーラブルで現実的である遠隔操作システムを開発し、自然で一般化可能なデモを確保する。
• ビジュー・モーター政策と学習済みエラー検出器を統合した統一フレームワークを訓練し、実行時の耐障害性を向上させる。
• 少数のサンプルで微調整可能な手法とシミュレーションから実世界への転送可能性を実証し、実世界への展開を可能にする。

提案手法

• スマートフォンベースの遠隔操作インターフェースであるMoMaRTを導入し、ロボットの搭載カメラからのみの入力に基づいて、ナビゲーションとマニピュレーションをリアルタイムで同時に制御可能にする。
• iGibsonを用いて高精細なレンダリングとセンサの忠実度を実現した現実的な模擬キッチン環境で、5つの長時間タスクを対象に1200件を超えるデモを収集した大規模な連続制御データセットを構築した。
• エキスパートデモを用いてビジュー・ベースのアシスト学習政策を訓練し、入力としてRGB-D画像とレーザースキャン点群を用いた。
• 変分オートエンコーダからの再構成誤差を用いて、推論時に分布外状態を識別する学習済みエラー検出器を設計した。
• 推論時にエラー検出器を統合し、失敗状態が検出された場合には実行を停止させ、不安定な振るまいを防ぐ。
• ドメインランダマイゼーションとアブレーションスタディを適用し、耐障害性と一般化性能を評価した。また、シフトしたドメインにおける少数のサンプルでの微調整も検証した。

実験結果

リサーチクエスチョン

• RQ1 ロボットの視覚的入力のみに制限された人間オペレータを対象とした遠隔操作システムは、モバイルマニピュレーションのためのより現実的で一般化可能なデモを生み出せるか？
• RQ2 複雑なモバイルマニピュレーションタスクの政策実行中に、再構成に基づくエラー検出は分布外状態を効果的に特定できるか？
• RQ3 エキスパートデータから微調整されたアシスト学習政策は、シフトしたドメインにおける新たな少数のデモシナリオにどの程度一般化できるか？
• RQ4 シミュレーションと実世界の間の性能ギャップはどの程度で、本手法は実ロボットへの適応に有効に機能するか？
• RQ5 アシスト学習とエラー検出を統合した統一フレームワークは、長時間のモバイルマニピュレーションタスクにおいて、政策の耐障害性と成功確率を顕著に向上させられるか？

主な発見

• 提案されたMoMaRT遠隔操作システムは、現実的な模擬キッチン環境で1200件を超える高品質な連続制御デモを効果的に収集した。
• エキスパートデータセットを用いて訓練されたアシスト学習政策は、全5つのマルチステージタスクで45%を超えるタスク成功率を達成した。
• 学習済みエラー検出器は、失敗状態の検出において85%を超える精度と再現率を達成し、KLダイバージェンスや対数尤度に基づくメトリクスといったベースライン手法を顕著に上回った。
• シフトしたドメインにおける少数のサンプルでの微調整は、初期学習から訓練する手法を常に上回り、成功率が最大で10.7ポイント向上した（例：『洗い場からテーブルセッティング』タスクで26.3% vs. 15.6%）。
• 再構成に基づくアプローチは、潜在空間や対数尤度法のようなノイジーなベースラインと異なり、全タスクにわたり耐障害性があり、調整可能であった。
• 本手法は、プライベート情報を利用せず、ロボットの搭載センサのみを用いるため、シミュレーションから実世界への転送の可能性が非常に高いが、実世界での検証は未実施である。