[論文レビュー] Shelving, Stacking, Hanging: Relational Pose Diffusion for Multi-modal Rearrangement

Anthony Simeonov, Ankit Goyal+6 more|arXiv (Cornell University)|Jul 10, 2023

Advanced Vision and Imaging被引用数 4

ひとこと要約

本稿では、3次元点群からマルチモーダルで高精度な変換を予測する、6自由度物体再配置を目的とした拡散ベース手法であるRelational Pose Diffusion (RPDiff)を提案する。局所的なシーン幾何から条件づけられた反復的ノイズ除去により、シミュレーションおよび現実世界の設定において多様な物体形状、シーンレイアウト、再配置設定に一般化する。

ABSTRACT

We propose a system for rearranging objects in a scene to achieve a desired object-scene placing relationship, such as a book inserted in an open slot of a bookshelf. The pipeline generalizes to novel geometries, poses, and layouts of both scenes and objects, and is trained from demonstrations to operate directly on 3D point clouds. Our system overcomes challenges associated with the existence of many geometrically-similar rearrangement solutions for a given scene. By leveraging an iterative pose de-noising training procedure, we can fit multi-modal demonstration data and produce multi-modal outputs while remaining precise and accurate. We also show the advantages of conditioning on relevant local geometric features while ignoring irrelevant global structure that harms both generalization and precision. We demonstrate our approach on three distinct rearrangement tasks that require handling multi-modality and generalization over object shape and pose in both simulation and the real world. Project website, code, and videos: https://anthonysimeonov.github.io/rpdiff-multi-modal/

研究の動機と目的

• 同一の物体-シーン関係に対して複数の有効な配置が存在するマルチモーダル再配置ソリューションの課題に対処すること。
• グローバルなシーン構造ではなく局所的幾何特徴に注目することで、未観測のシーンレイアウトおよび物体設定への一般化を向上させること。
• 点群上の拡散ベースのノイズ除去フレームワークを用いて、デモデータから正確で多様な再配置予測を可能とすること。
• 物理的相互作用モデルやオブジェクト固有の事前知識を必要とせず、深度カメラ入力を用いて現実世界への展開を可能とすること。
• シャッターリング、スタッキング、ハングイングの3つの異なる再配置タスクにおいて、新規の幾何形状およびポーズにゼロショット一般化を達成する、強力な性能を発揮すること。

提案手法

• 最終デモ構成の摂動版を生成することで、物体再配置を点群ポーズノイズ除去問題として定式化する。
• 多様な初期ノイズ分布から出発し、反復的にノイズ除去を行うことで、マルチモーダル出力を生成する拡散モデルを学習する。
• 物体の周囲のシーン点群の局所的クロップを条件として用いることで、一般化を向上させ、関係のないグローバルなノイズ要因を無視する。
• オブジェクト点およびシーン点の自己注意とそれらの間のクロス注意を備えたトランスフォーマーに基づくアーキテクチャを用い、SE(3)変換を予測する。
• 拡散ステップの条件付けに正弦波位置埋め込みを適用し、段階的に摂動の大きさを減少させるスケジュールを用いる。
• 最終的な物体ポーズと成功確率スコアの両方を別々のヘッドネットワークで予測することで、不確実性を考慮した推論を可能とする。

Figure 1: By learning from a set of demonstrations of a rearrangement task, such as place the book in the shelf (A) and hang the mug on the rack (B), Relational Pose Diffusion (RPDiff) can produce multiple transformations that achieve the same object-scene relationship for new object/scene pairs.

実験結果

リサーチクエスチョン

• RQ1 3次元点群デモから、マルチモーダルな再配置ソリューションを効果的にモデル化できるか。
• RQ2 局所的シーンクロップが、新規のシーンレイアウトおよび物体設定への一般化をどのように向上させるか。
• RQ3 物理法則に依存しない幾何のみの手法が、現実世界設定で正確で多様な再配置予測をどの程度達成できるか。
• RQ4 同じ入力に対して異なるターゲットを持つマルチモーダルデモデータに適合する際、反復的ノイズ除去は単一ステップ回帰を上回るか。
• RQ5 本手法は、シミュレーションおよび現実世界の両方で、未観測の物体形状、ポーズ、シーン幾何にどの程度一般化できるか。

主な発見

• RPDiffは、シミュレーションおよび現実世界の両環境で、シャッターリング、スタッキング、ハングイングの3つの挑戦的な再配置タスクにおいて、最先端の性能を達成した。
• 本手法は、以前に観測されていなかったラック構成や書籍収納棚の配置を含む、新規の物体形状およびシーンレイアウトに対しても効果的に一般化した。
• 反復的ノイズ除去により、平均予測ベースラインとは異なり、複数の有効なソリューションをカバーする多様で高品質な再配置予測を生成した。
• 局所的シーンクロップはゼロショット一般化を顕著に向上させ、グローバルな文脈モデルと比較して、分布外レイアウトでの性能低下を著しく低減した。
• 現実世界のハングイングタスクでは87.5%の成功率、シミュレーテッドシェルビングタスクでは92.1%の成功率を達成し、予測ソリューションの多様性も高い水準を示した。
• アブレーションスタディにより、拡散学習スキームおよび局所的クロップの両方がマルチモーダル性と一般化性に不可欠であることが確認され、それらを欠落させると成功率が30%以上低下した。

Figure 2: Method Overview. (A) Starting from an object and scene point cloud ${\mathbf{P}_{\mathbf{O}}}$ and ${\mathbf{P}_{\mathbf{S}}}$ , we transform ${\mathbf{P}_{\mathbf{O}}}$ to a diverse set of initial poses. RPDiff takes the initial object-scene point clouds as input, iteratively updates the