[論文レビュー] Graph-Structured Visual Imitation

Maximilian Sieb, Xian Zhou+3 more|arXiv (Cornell University)|Jul 11, 2019

Multimodal Machine Learning Applications参考文献 45被引用数 14

ひとこと要約

本論文は、階層的視覚的エンティティグラフ（VEG）を用いて、物体、部品、点の動的3次元空間的関係をエンコードすることで、視覚的模倣に適した方法、Graph-Structured Visual Imitationを提案する。ポイントとオブジェクトの自己教師付き検出器と人間の手のキーポイント追跡を活用することで、環境のインストルメンテーションを必要とせず、1回のデモンストレーションでロバストな模倣が可能となり、プッシュ、スタック、倒し込みといった多様な操作タスクにおいて、一般化性能と成功確率の面でフルフレームCNNベースラインを上回る。

ABSTRACT

We cast visual imitation as a visual correspondence problem. Our robotic agent is rewarded when its actions result in better matching of relative spatial configurations for corresponding visual entities detected in its workspace and teacher's demonstration. We build upon recent advances in Computer Vision,such as human finger keypoint detectors, object detectors trained on-the-fly with synthetic augmentations, and point detectors supervised by viewpoint changes and learn multiple visual entity detectors for each demonstration without human annotations or robot interactions. We empirically show the proposed factorized visual representations of entities and their spatial arrangements drive successful imitation of a variety of manipulation skills within minutes, using a single demonstration and without any environment instrumentation. It is robust to background clutter and can effectively generalize across environment variations between demonstrator and imitator, greatly outperforming unstructured non-factorized full-frame CNN encodings of previous works.

研究の動機と目的

• 人間によるアノテーションデータやロボットの相互作用を必要とせず、1回のデモンストレーションによるロボット操作スキルの視覚的模倣を可能にすること。
• 視覚的シーンにおける「何であるか」と「どこにあるか」を分離することで、オブジェクトの形状、視点、背景のごみの変動に対して一般化性能を向上させること。
• デモンストレーターとイミテーター間の対応関係を確立するために、シーン固有の自己教師付き視覚検出器をオブジェクト、ポイント、人間の手用に開発すること。
• フルフレームCNNエンコーディングを置き換え、空間的関係を捉える要因分解型のグラフベース表現を採用することで、模倣性能を向上させること。
• エキスパートの行動ラベルやロボットのデモンストレーションデータを一切使用せず、1回のデモンストレーションと最小限の現実世界の試行のみで、実ロボット上で成功した模倣を実証すること。

提案手法

• 本手法は、持続的視覚的エンティティ（オブジェクト、部品、ポイント、手）をノードとして持ち、時間経過に伴う相対的3次元空間的配置をエッジで表現する視覚的エンティティグラフ（VEG）を構築する。
• ポイント検出器は、視点の変化を用いて自己教師付きで学習され、オブジェクトおよび部品検出器は、デモンストレーションから得た合成的に拡張された動画フレームを用いて学習される。
• 人間の手のキーポイント検出器を用いて、デモンストレーターの手の軌道を解析し、到達や把持の動きを細かく模倣可能にする。
• 各タイムステップにおいて、デモンストレーターのVEGとイミテーターのVEGの対応するノードペア間の相対的空間的配置の一致度を測定することで、報酬関数を定義する。
• 軌道最適化を用いた強化学習により、この知覚的報酬を最大化するポリシーを学習し、現実世界での相互作用は数回にとどまる。
• グラフ構造は階層的であり、動きの顕著性に基づいて動的に更新され、エンティティが移動したり、隠蔽されたりする際にエッジが追加または削除される。

実験結果

リサーチクエスチョン

• RQ1 視覚的エンティティとその空間的関係を分離するグラフ構造の視覚的表現は、操作スキルのロバストな1回デモンストレーション模倣を可能にするか？
• RQ2 ポイント、オブジェクト、人間の手のための自己教師付き視覚検出器は、人間によるアノテーションなしに、デモンストレーターとイミテーター間の信頼性の高い対応関係を確立できるか？
• RQ3 提案されたVEGベースの報酬関数は、フルフレームCNNエンコーディングと比較して、オブジェクトの形状、視点、背景のごみの変動に対して一般化性能が優れているか？
• RQ4 エキスパートの行動ラベルやロボットのデモンストレーションデータを一切使用せず、1回のデモンストレーションと最小限の現実世界の相互作用でのみ、成功した模倣が達成可能か？
• RQ5 人間の手のキーポイント追跡を組み込むことで、正確な操作を要するタスクにおける模倣性能がどのように向上するか？

主な発見

• オリジナルのイエローオクタゴンのプッシュタスクでは5回中5回すべてで成功し、より小さなオレンジの正方形タスクでは5回中4回で成功し、オブジェクトサイズや空間的配置の変化に対してもロバストであることが示された。
• 方向転換プッシュタスクでは、8回の軌道最適化の後でロボットが成功したが、TCNベースラインは完全に失敗した。これは、本手法が非連続的接触タスクを処理できる能力を示している。
• スタックタスクでは、イエローオクタゴンとより難しい平たいオレンジの正方形の両方を把持し、位置決めする能力を学習し、特に後者の把持が困難であるにもかかわらず、大多数の試行で成功した。
• 倒し込みタスクでは、形状や質感が異なる新しい缶に対しても一般化され、10回の最適化イテレーションすべてで正しい方向に回転・移動させることに成功した。
• TCNベースラインは、倒し込みのための正しい方向への回転を学習できず、構造的な視覚的対応関係が欠落していると、微細な回転制御の学習に限界があることが示された。
• 本手法は、一般化性能と成功確率の面でフルフレームCNNベースラインを上回り、同等の性能に到達するための動画例の数も著しく少なくした。