[論文レビュー] Vision-based Robot Manipulation Learning via Human Demonstrations

Zhixin Jia, Mengxiang Lin+2 more|arXiv (Cornell University)|Mar 1, 2020

Multimodal Machine Learning Applications参考文献 22被引用数 7

ひとこと要約

本論文では、1つの第三者視点のデモのみを用いて、物体や環境をまたがる一般化を可能にする視覚ベースのロボット操作学習フレームワークを提案する。行動認識、物体検出、および行動-物体関係に関するテキストベースの事前知識ベースを組み合わせることで、新規の物体や異なる文脈を伴う単純および複雑な日常的タスクの実世界実行において90%を超える成功率を達成している。

ABSTRACT

Vision-based learning methods provide promise for robots to learn complex manipulation tasks. However, how to generalize the learned manipulation skills to real-world interactions remains an open question. In this work, we study robotic manipulation skill learning from a single third-person view demonstration by using activity recognition and object detection in computer vision. To facilitate generalization across objects and environments, we propose to use a prior knowledge base in the form of a text corpus to infer the object to be interacted with in the context of a robot. We evaluate our approach in a real-world robot, using several simple and complex manipulation tasks commonly performed in daily life. The experimental results show that our approach achieves good generalization performance even from small amounts of training data.

研究の動機と目的

• 単一の第三者視点のビデオデモからのみ、膨大な実世界またはシミュレーションデータを必要としない複雑な操作スキルの学習を可能にすること。
• 行動-物体関係に関する事前知識を組み込むことで、多様な物体や環境における一般化を向上させること。
• タスク固有のデータ収集を実ロボットで行う必要がない、スケーラブルで実世界に適用可能な観察からの模倣学習フレームワークを開発すること。
• 本アプローチの有効性を、物体や環境条件が変化するさまざまな日常的タスクにおいて検証すること。

提案手法

• 行動プリミティブを動画シーケンスから分類するために、深層畳み込みニューラルネットワーク（AP-CNN）が用いられる。
• 連続する行動シーケンスからキーポイントとなる行動プリミティブを抽出するために、ウィンドウフィルターアルゴリズムが用いられ、時間的モデリングが向上する。
• マスクR-CNNがインスタンスセグメンテーションと物体検出を実行し、ロボットの視界内での物体の識別と3次元ポーズを特定する。
• 主成分分析（PCA）を用いて、セグメンテーションマスクをロボット制御に適した物理的量に変換する。
• ベイジアン確率モデルが、日常的タスクにおける行動-物体ペアの手動で整備されたテキストコーパスを統合し、タスク実行中の適切な物体の推論を実現する。
• アクションプランナは、提示された行動と環境的文脈に基づいて、どの物体を操作すべきかを事前知識ベースを用いて推論する。

実験結果

リサーチクエスチョン

• RQ1 ロボットは、単一の第三者視点デモのみを用いて、新規の物体や環境に一般化した操作スキルを習得できるか？
• RQ2 テキストベースの事前知識ベースの統合は、操作計画における物体推論の効果をどのように向上させるか？
• RQ3 視覚ベースの行動認識と物体検出は、実世界のロボット操作におけるスキルの転送をどの程度頑健に可能にするか？
• RQ4 未確認の物体を含む複雑なマルチステップ操作タスクにおける本システムのパフォーマンスはいかほどか？

主な発見

• 新規の物体とランダムに配置された物体を用いた5つの単純な操作タスク（持ち上げて置く、押し退ける、物体を届ける）において、システムは100%の成功率を達成した。
• オープンボトルおよびお茶を注ぐタスクでは、90%（10回中9回）の成功率を示し、物体の変動に対しても効果的な一般化が可能であることが確認された。
• 複数のサブタスクを含む複雑なタスク（例：テーブルを片付け、ボックスを届ける、ボトルを開けて容器に注ぐ）においても、未確認の物体を用いて90%（10回中9回）の成功率を達成した。
• 失敗の主な原因は、物体検出の誤りや一貫性のない行動プリミティブ抽出に起因しており、認識および行動シーケンスモデリングの分野でのさらなる改善の余地があることが示された。
• 初期の認識モデルを除き、追加の実ロボットやシミュレーションデータのトレーニングを必要としない状況下でも、多様な実世界シナリオにおいて頑健なパフォーマンスを示した。