[論文レビュー] Few-Shot Goal Inference for Visuomotor Learning and Planning

Annie Xie, Avi Singh+2 more|arXiv (Cornell University)|Sep 30, 2018

Robot Manipulation and Learning参考文献 50被引用数 16

ひとこと要約

本論文は、メタ学習された分類器を用いて、成功事例のわずかな例からロボットがタスクの目的を学習できる少数ショット目的推定フレームワークを提案する。メタラーニングを活用して多様なタスクに一般化することで、視覚的ナビゲーション、ロープ操作、現実世界のオブジェクト再配置の分野で、最小限の人的監視で高いパフォーマンスを達成する。

ABSTRACT

Reinforcement learning and planning methods require an objective or reward function that encodes the desired behavior. Yet, in practice, there is a wide range of scenarios where an objective is difficult to provide programmatically, such as tasks with visual observations involving unknown object positions or deformable objects. In these cases, prior methods use engineered problem-specific solutions, e.g., by instrumenting the environment with additional sensors to measure a proxy for the objective. Such solutions require a significant engineering effort on a per-task basis, and make it impractical for robots to continuously learn complex skills outside of laboratory settings. We aim to find a more general and scalable solution for specifying goals for robot learning in unconstrained environments. To that end, we formulate the few-shot objective learning problem, where the goal is to learn a task objective from only a few example images of successful end states for that task. We propose a simple solution to this problem: meta-learn a classifier that can recognize new goals from a few examples. We show how this approach can be used with both model-free reinforcement learning and visual model-based planning and show results in three domains: rope manipulation from images in simulation, visual navigation in a simulated 3D environment, and object arrangement into user-specified configurations on a real robot.

研究の動機と目的

• 報酬関数を手動で設計することが難しい現実世界のロボティクスにおけるタスク目的の定義の課題に対処すること。
• 人間の少数ショット一般化を模倣するように、成功したタスク成果のわずかな例からの目的の推定を可能にすること。
• タスクに依存しないスケーラブルなフレームワークを構築し、タスク固有の設計や環境への装備を回避すること。
• 学習された目的分類器をモデルフリー強化学習および視覚的モデルベース計画に統合すること。
• 再訓練を一切行わずに、新しいタスクや未確認のオブジェクト構成への一般化を可能にすること。

提案手法

• 成功例（ポジティブ）と失敗例（ネガティブ）の例を用いて、多様なタスクで分類器をメタトレーニングし、目的関連の視覚的特徴における不変性を学習する。
• メタ学習された分類器を用いて、新しいタスクにおける目的状態のわずかな例から報酬関数を推定する。
• 分類器の信頼度スコアから報酬信号を導出し、強化学習や計画アルゴリズムをガイドする。
• 分類器を成功度の指標として用いることで、モデルフリー強化学習（例：DQN、PPO）および視覚的モデルベース計画の両方へフレームワークを適用する。
• タスクに依存しない視覚的埋め込みを目的比較に用いるために、事前学習済みのビジョンバックボーンからの特徴表現を活用する。
• メタトレーニング中にコントラスト学習の目的関数を用いることで、オブジェクトの相対的位置などのタスク関連要因に分類器が注目するよう促進する。

実験結果

リサーチクエスチョン

• RQ1 わずかな成功例のみを用いて、1つの目的分類器が多様な視覚的タスクに一般化できるか？
• RQ2 メタ学習された目的分類器は、視覚ベースの制御タスクにおける強化学習および計画をどれほど効果的に支援できるか？
• RQ3 特定の画像を記憶するのではなく、相対的なオブジェクト位置などの意味的で抽象的な目的を学習できるか？
• RQ4 実世界およびシミュレーション環境において、少数ショット目的推定はヒューリスティックな距離尺度（例：ピixeL距離、自己符号化器距離）と比較してどの程度優れているか？
• RQ5 再トレーニングなしに、未確認のオブジェクト構成や未確認のタスクの組み合わせへの一般化が可能か？

主な発見

• 提案されたFLO（Few-Shot Goal Learning）手法は、ロープ操作タスクで中央値0.27（四分位範囲：0.18–0.34）の距離を達成し、ピクセル距離（0.54）や自己符号化器距離（0.59）を顕著に上回った。
• DQNを用いた視覚的ナビゲーションでは、FLOがターゲットオブジェクトに到達する成功率77.8%を達成したのに対し、ピクセル距離では33.0%、自己符号化器距離では44.0%にとどまった。
• この手法により、Sawyerロボットがメタトレーニング中に見なかった未確認のオブジェクトの操作が現実世界で成功した。
• メタ学習された分類器は、正確な目的画像が一致しなくても、相対的なオブジェクト位置や変形可能なオブジェクトの形状といった抽象的な目的に一般化できた。
• 本フレームワークは、シミュレーションベースのロープ操作、3次元視覚的ナビゲーション、現実世界のオブジェクト配置の3分野すべてで、効果的なポリシー学習を可能にした。
• 分類器の精度が不十分な場合でも、強化学習は報酬信号を活用して成功を収めたことから、目的学習の不完全さに対しても耐性があることが示された。