[論文レビュー] SE(3)-Equivariant Relational Rearrangement with Neural Descriptor Fields

Anthony Simeonov, Yilun Du+5 more|arXiv (Cornell University)|Nov 17, 2022

3D Shape Modeling and Analysis被引用数 7

ひとこと要約

本論文では、神経記述子場（NDFs）を用いてタスク関連部の一貫性のある局所座標フレームを学習し、エネルギーに基づく関節配置モデルを組み合わせることで、5〜10点群のデモのみでロボットが複数対象の再配置タスクを実行できる、関係性ニューラル記述子場（R-NDFs）を提案する。この手法は、エンドツーエンド学習によるフレーム整合性最適化と変換の精緻化を通じて、シミュレーションおよび現実世界の設定においてSE(3)同変性で一般化可能な操作を実現する。

ABSTRACT

We present a method for performing tasks involving spatial relations between novel object instances initialized in arbitrary poses directly from point cloud observations. Our framework provides a scalable way for specifying new tasks using only 5-10 demonstrations. Object rearrangement is formalized as the question of finding actions that configure task-relevant parts of the object in a desired alignment. This formalism is implemented in three steps: assigning a consistent local coordinate frame to the task-relevant object parts, determining the location and orientation of this coordinate frame on unseen object instances, and executing an action that brings these frames into the desired alignment. We overcome the key technical challenge of determining task-relevant local coordinate frames from a few demonstrations by developing an optimization method based on Neural Descriptor Fields (NDFs) and a single annotated 3D keypoint. An energy-based learning scheme to model the joint configuration of the objects that satisfies a desired relational task further improves performance. The method is tested on three multi-object rearrangement tasks in simulation and on a real robot. Project website, videos, and code: https://anthonysimeonov.github.io/r-ndf/

研究の動機と目的

• 任意の初期姿勢を持つ新しいオブジェクトインスタンスに対して、ゼロショット一般化可能な関係性操作タスクを実現すること。
• 少数のデモから一貫性のある局所座標フレームを学習することで、手動によるキーポイントアノテーションへの依存度を低減すること。
• フレーム位置特定における誤差蓄積を解消するため、エネルギーに基づくモデルを用いてオブジェクトペアの配置を共同でモデル化すること。
• テーブルトップ環境における多様で未知のオブジェクトペアに対して、関係性操作の現実世界での実装を可能にすること。
• 実世界の実行における分布シフト、遮蔽、センサーノイズに対する耐性を向上させること。

提案手法

• 本手法は、各オブジェクトごとに1つの神経記述子場（NDF）を用い、3次元幾何とタスク関連部の空間記述子を符号化する。
• 1つのデモにおける3次元キーポイントラベルを用いて、非凸最適化目的関数により、異なるオブジェクトインスタンス間で一貫性のある局所座標フレームを最適化する。
• NDFからの記述子を照合することで、未学習のオブジェクトペアのフレームの6次元姿勢を推定し、SE(3)同変性の変換予測を可能にする。
• 相対的な2オブジェクト配置を共同でモデル化するため、エネルギーに基づくモデル（EBM）を訓練し、望ましい空間的関係を満たすように予測変換を精緻化する。
• EBMは勾配降下法を用いてエンドツーエンドで最適化され、フレーム位置特定のみに比べて整合性精度を向上させる。
• 保守的な衝突回避ウェイポイントを含む運動計画を用いて、実世界での耐性を高めるためにシステムをデプロイする。

実験結果

リサーチクエスチョン

• RQ1 5〜10のデモで、任意の初期姿勢を持つ新しいオブジェクトインスタンスに対して、関係性再配置タスクの一般化が可能か？
• RQ2 手動アノテーションなしで、多様で未知のオブジェクトインスタンスにわたり、タスク関連部に一貫性のある局所座標フレームを割り当てることは可能か？
• RQ3 エネルギーに基づくモデルによるオブジェクトペア配置の共同モデリングは、独立したフレーム位置特定を上回る変換精度を向上させ得るか？
• RQ4 実世界のノイズ、分布シフト、点群データの不完全な認識に対して、この手法はどれほど頑健か？
• RQ5 このフレームワークは、実世界のテーブルトップ環境における複数ステップの操作タスクに一般化可能か？

主な発見

• R-NDFsは、3つのシミュレーテッドな複数対象再配置タスクで高い成功確率を達成し、フレーム位置特定に依存するベースライン手法を上回った。
• 一貫性のあるフレーム割り当てのための提案手法により、形状や初期姿勢が異なる場合の誤差を著しく低減した。
• エネルギーに基づく関節配置モデルは、特に積み重ねや吊り下がりのような複雑な関係において、フレームベースのベースラインに比べてタスク成功確率を15〜20%向上させた。
• 実世界実験では、R-NDFsは多様なオブジェクトペア（例：マグカップをラックにのせる、ボウルをマグカップにのせる）に対して一貫した性能で再配置タスクを成功させた。
• データ拡張と複数初期化最適化を組み合わせることで、点群ノイズ、遮蔽、センサーエラーに対しても耐性を示した。
• 多様なデモを用い、拡張データ上で注意深くNDFを訓練することで、誤ったハンドルの整合性や逆さまのボトル配置といった失敗モードが低減した。