[論文レビュー] One-shot Imitation Learning via Interaction Warping

Ondřej Bíža, Skye Thompson+8 more|arXiv (Cornell University)|Jun 21, 2023

Robot Manipulation and LearningEngineering被引用数 3

ひとこと要約

本稿では、1回のデモのみで多様な物体形状や姿勢に対して一般化可能なSE(3)ロボット操作のための1ショット強化学習手法「インタラクションワーピング」を提案する。本手法は、物体形状とインタラクションキーポoinをCoherent Point Drift (CPD)を用いて変形することで、新しいインスタンスに対しても安定した一般化を実現する。シミュレーションおよび現実世界のタスクにおいて、1回のデモのみで優れた成功率を達成し、従来手法に比べてデータ効率が高く、性能に優れている。

ABSTRACT

Imitation learning of robot policies from few demonstrations is crucial in open-ended applications. We propose a new method, Interaction Warping, for learning SE(3) robotic manipulation policies from a single demonstration. We infer the 3D mesh of each object in the environment using shape warping, a technique for aligning point clouds across object instances. Then, we represent manipulation actions as keypoints on objects, which can be warped with the shape of the object. We show successful one-shot imitation learning on three simulated and real-world object re-arrangement tasks. We also demonstrate the ability of our method to predict object meshes and robot grasps in the wild.

研究の動機と目的

• 3次元空間における任意の形状・姿勢の新しい物体インスタンスに、1回のデモのみでロボット操作ポリシーを一般化する課題に取り組む。
• 従来のキーポイントベース手法が大量の事前学習を必要としたり、記述子学習にニューラルネットワークに依存しているという制限を克服する。
• 非剛性点群登録を用いて形状・姿勢・インタラクションポイントを同時に推定することで、物体カテゴリ間での強力なポリシー転送を実現する。
• 本手法の有効性を、オブジェクト再配置や構造化されていない環境におけるグリップ予測を含む、シミュレーションおよび現実世界のロボット操作タスクで示す。

提案手法

• 1回のデモから得られる標準化された物体モデルに、新しいカテゴリ内オブジェクトインスタンスを非剛性登録することで、Coherent Point Drift (CPD) を用いて形状を変形する。
• 操作行動を物体表面のキーポイントとして表現し、物体形状と同時にワーピングすることで、空間的・意味的整合性を維持する。
• CPDを用いて形状補完モデルを学習し、未観測のオブジェクトインスタンスを標準形状にアライメントさせることで、3次元メッシュを推定する。
• 同じCPD変換を用いて、オブジェクトメッシュとインタラクションキーポイントをワープすることで、標準タスクポリシーを新しいシーンに投影する。
• RGB-D画像からオブジェクトメッシュを検出・セグメンテーション・再構築するため、オープンボリュームの認識パイプライン（例：Detic や Segment Anything）と組み合わせる。
• ワープされたメッシュとキーポイントを用いて、衝突を考慮した運動計画を実行し、構造化されていない現実世界のシーンにおけるロボットグリップを予測する。

実験結果

リサーチクエスチョン

• RQ1 1回のデモで、3次元操作タスクにおいて任意の形状・姿勢の新しいオブジェクトインスタンスに一般化可能か？
• RQ2 CPDによる形状ワーピングは、ニューラル記述子学習と比較して、1ショット強化学習におけるデータ効率および成功確率で優れているか？
• RQ3 インタラクションワーピングは、現実世界の混雑した環境において、未観測のオブジェクトにデモされたグリップをどれほど一般化できるか？
• RQ4 事前にセグメンテーションやラベル付けをしたデータが不要な状態で、本手法はRGB-D画像から正確な3次元メッシュとロボットグリップを予測できるか？

主な発見

• インタラクションワーピングは、1回のデモのみで、シミュレーションおよび現実世界のタスクにおいて、1回のオブジェクト再配置（マグカップを木に置く、ボウルをマグカップに置く、ボトルを箱に入れる）で90％以上の成功率を達成した。
• 本手法は、5回以上のデモが必要なR-NDF や TAX-Pose よりも優れた性能を示し、複数回のデモでも成功率が80％に満たない場合が多かった。
• IWは、形状の大きな違い（異なる形のマグカップや木）を持つ新しいオブジェクトインスタンスに対しても成功して一般化でき、現実世界の設定における姿勢変化に対しても対応可能である。
• ノイズや遮蔽のある点群に対しても頑健であり、部分的で低品質な点群が原因で頻繁に衝突が発生する現実世界の試行において、(R-)NDF よりも優れた性能を示した。
• オープンボリューム検出・セグメンテーションと形状ワーピングを組み合わせることで、1枚のRGB-D画像からのみで、正確なメッシュとグリップ予測が可能になった。
• 形状と姿勢の同時推定には1オブジェクトあたり約25秒（RTX 2080 Ti GPU）を要するが、本手法は完全に微分可能であり、将来の研究でニューラルアンモリゼーションを用いて高速化が可能である。