[論文レビュー] A Geometric Perspective on Visual Imitation Learning

Jun Jin, Laura Petrich+2 more|arXiv (Cornell University)|Mar 5, 2020

Advanced Vision and Imaging参考文献 40被引用数 4

ひとこと要約

本稿では、1つの人間のデモ動画から一貫した幾何的特徴関連を推論することで、視覚的模倣学習における幾何的視点であるVGS-ILを提案する。この手法により、教師なしまたは強化学習を用いずに、多様な環境条件下でもロボットへの一般化が可能となり、生のピクセルから最適化された幾何的プリミティブを介して不変で説明可能なタスク概念を実現する。

ABSTRACT

We consider the problem of visual imitation learning without human supervision (e.g. kinesthetic teaching or teleoperation), nor access to an interactive reinforcement learning (RL) training environment. We present a geometric perspective to derive solutions to this problem. Specifically, we propose VGS-IL (Visual Geometric Skill Imitation Learning), an end-to-end geometry-parameterized task concept inference method, to infer globally consistent geometric feature association rules from human demonstration video frames. We show that, instead of learning actions from image pixels, learning a geometry-parameterized task concept provides an explainable and invariant representation across demonstrator to imitator under various environmental settings. Moreover, such a task concept representation provides a direct link with geometric vision based controllers (e.g. visual servoing), allowing for efficient mapping of high-level task concepts to low-level robot actions.

研究の動機と目的

• 人間の監視なし、もしくはインタラクティブな強化学習環境なしで視覚的模倣学習の課題に取り組むこと。
• 一般化を向上させるために、タスク概念の学習（「何をやるか」）と行動方策の学習（「どのようにやるか」）を分離すること。
• 模倣者間の視覚的差異（例：手の形状、背景、ポーズ）に不変であり、幾何的パrameter化された、説明可能で不変なタスク概念の表現を開発すること。
• 別個のポリシー学習を経由せずに、視覚サーボ制御などの幾何的ビジョンベースの制御系に直接統合できること。
• 背景、ポーズ、カメラ、遮蔽、照明の変化といった視覚的変化に対しても一般化できること。

提案手法

• VGS-ILは、1つの人間デモ動画の画像フレームから、グローバルに一貫した幾何的特徴関連を推論するエンドツーエンド最適化フレームワークを用いる。
• 手作業による特徴記述子を回避するため、生の画像ピクセルから幾何的プリミティブ（例：点、直線、二次曲線）の組み合わせ的表現を直接最適化する。
• この手法により、手や腕の形状、背景、照明の変化に対して不変な、幾何的パrameter化されたタスク概念が学習される。
• 推論された幾何的関連は、視覚サーボ制御系と直接互換性を持つ制御誤差信号を生成する。
• 制御誤差信号の品質を時間経過とともに向上させる多段階最適化プロセスにより、フレームワークが訓練される。
• 物理的整合性と制御可能性を保証するため、3次元コンピュータビジョン幾何学を活用する。

実験結果

リサーチクエスチョン

• RQ1 教師なしまたはインタラクティブな強化学習なしで、1つの人間デモ動画からグローバルに一貫した幾何的タスク概念を推論できるか？
• RQ2 模倣者間の視覚的差異（例：手の外見、背景、ポーズ）に対して不変な幾何的パrameter化されたタスク概念をどのように実現できるか？
• RQ3 学習された幾何的表現を、視覚サーボ制御などの幾何的ビジョンベースの制御系を介して、低レベルのロボット動作に直接マッピングできるか？
• RQ4 カメラの動き、遮蔽、照明の変化といった現実世界の環境変化に対しても、この手法はどれほど一般化できるか？
• RQ5 この手法が生成する制御誤差信号は、追加のポリシー学習を経ずにロボット制御に効果的に利用できるか？

主な発見

• VGS-ILは、背景やターゲットポーズの変化にかかわらず、4つのタスク（Sort, Insert, Fold, Screw）すべてにおいて、学習された幾何的特徴関連を効果的に一般化した。
• 表Iの定量的スコアから、2つのベースラインと比較して、VGS-ILは幾何的特徴関連の選択の一貫性が最も高いことが示された。
• 5つの環境変化（ランダムターゲット、カメラの動き、遮蔽、視野の損失、照明変化）下でのSortタスクにおいて、VGS-ILはすべての設定でベースラインを上回った。
• 図8に示すように、VGS-ILが生成する制御誤差信号は、訓練ステージの進行に伴い一貫して「良い」品質を示し、最適化が信号品質を向上させた。
• 被験者が人間であろうとロボットであろうと、手の外見や背景が異なっていても、最上位の幾何的特徴関連が一貫して選択された。
• この手法により、出力誤差信号を視覚サーボ制御系に直接利用可能となり、別個の特徴追跡やポリシー学習の必要がなくなった。