[論文レビュー] Equivariant Descriptor Fields: SE(3)-Equivariant Energy-Based Models for End-to-End Visual Robotic Manipulation Learning

Hyunwoo Ryu, Jeong Hoon Lee+2 more|arXiv (Cornell University)|Jun 16, 2022

Multimodal Machine Learning Applications被引用数 11

ひとこと要約

本稿では、点群を用いたエンドツーエンドの視覚的ロボット操作のための、SE(3)に同変なエネルギーベースモデルである等長記述子フィールド（EDFs）を提案する。表現論を活用して同変な記述子と学習可能なエネルギー関数を構築することで、わずか5〜10回のデモンストレーションでのみ高いサンプル効率を達成し、事前学習、セグメンテーション、ポーズ推定パイプラインを必要とせずに、未学習の物体ポーズ、インスタンス、および干渉要因に対しても一般化を実現する。

ABSTRACT

End-to-end learning for visual robotic manipulation is known to suffer from sample inefficiency, requiring large numbers of demonstrations. The spatial roto-translation equivariance, or the SE(3)-equivariance can be exploited to improve the sample efficiency for learning robotic manipulation. In this paper, we present SE(3)-equivariant models for visual robotic manipulation from point clouds that can be trained fully end-to-end. By utilizing the representation theory of the Lie group, we construct novel SE(3)-equivariant energy-based models that allow highly sample efficient end-to-end learning. We show that our models can learn from scratch without prior knowledge and yet are highly sample efficient (5~10 demonstrations are enough). Furthermore, we show that our models can generalize to tasks with (i) previously unseen target object poses, (ii) previously unseen target object instances of the category, and (iii) previously unseen visual distractors. We experiment with 6-DoF robotic manipulation tasks to validate our models' sample efficiency and generalizability. Codes are available at: https://github.com/tomato1mule/edf

研究の動機と目的

• 空間的回転・平行移動（SE(3)）の同変性を活用することで、エンドツーエンドの視覚的ロボット操作におけるサンプル非効率性を解消すること。
• Transporter Networks（SE(2)のみ） や Neural Descriptor Fields（非エンドツーエンド、セグメンテーション依存）といった先行手法の限界を克服すること。
• 事前学習、物体キーポイントのアノテーション、セグメンテーションパイプラインを一切用いずに、完全にエンドツーエンドの学習を可能にすること。
• 以前に見られなかったターゲットオブジェクトのポーズ、同じカテゴリの未学習インスタンス、および新しい視覚的干渉要因に対しても一般化すること。
• データが乏しく、現実世界の条件下でも高い性能を維持できる微分可能でSE(3)に同変なフレームワークを開発すること。

提案手法

• Neural Descriptor Fields（NDFs）のエネルギー最小化を、SE(3)多様体上でのエネルギーベースモデルを用いた確率的学習フレームワークに再定式化する。
• NDFsにおける不変記述子を、方向に敏感でSE(3)に同変な表現論的記述子へ一般化する。
• ターゲットオブジェクトと配置ターゲットの変換を同時にモデル化する、新しいSE(3)に同変なエネルギー関数を提案する。
• 非局所的メカニズムに依存せずにSE(3)同変性を保持するエンドツーエンド学習可能なクエリポイントネットワークを設計する。
• 補助的な事前学習やセグメンテーションを用いずに、わずか5〜10回のエキスパートデモンストレーションでのみモデルをエンドツーエンドで学習する。
• エネルギーベースモデルにおける正規化定数の非可解性のため、MCMCに基づく勾配推定を訓練に用いる。

実験結果

リサーチクエスチョン

• RQ1 生の点群から事前学習やセグメンテーションを必要とせず、SE(3)に同変なモデルをエンドツーエンドで学習可能か？
• RQ2 エンドツーエンドのSE(3)に同変なモデルは、未学習のオブジェクトポーズやインスタンスに対してどの程度一般化できるか？
• RQ3 訓練中に見られなかった新しい視覚的干渉要因が存在する状況下で、提案手法はどの程度の性能を示すか？
• RQ4 多様なテスト条件において、5〜10回のデモンストレーションという高いサンプル効率を維持しながら、一般化性能を達成できるか？
• RQ5 不変記述子と比較して、同変記述子は、頑健性および一般化性能においてどの程度優れているか？

主な発見

• EDFsは、未学習のポーズ、未学習のインスタンス、未学習の干渉要因を伴うマグカップのピックアンドプレースタスクにおいて、わずか5〜10回のデモンストレーションで100%の成功率を達成した。
• EDFsは未学習のボトルインスタンスに対し95%の総合成功率で一般化し、未学習のマグカップおよびボウルインスタンスに対しても、すべての設定で95〜100%の成功率を達成した。
• タイプ0の記述子のみを用いたアブレーションモデルでさえ、3倍のクエリポイント数を用い、著しく長い推論時間（例：ボトルで23.0秒対16.7秒）を要するにもかかわらず、EDFsはその性能を上回った。
• EDFsは未学習のポーズおよび干渉要因に対しても100%の成功率を維持したのに対し、ベースラインのSE(3)-TNsは91〜92%の総合成功率に低下し、優れた頑健性を示した。
• EDFsはマルチモーダルデモンストレーション（例：縁やハンドルでのグリップ）に対しても99%の総合成功率を達成したが、SE(3)-TNsは高ばらつきのデモンストレーションでは失敗した。
• 一方、NDFsはセグメンテーションされていない入力では完全に失敗した（マグカップで0%の成功率）ことから、セグメンテーションがNDFsにとって不可欠である一方で、EDFsではそれが不要であることが確認された。