[論文レビュー] SORNet: Spatial Object-Centric Representations for Sequential Manipulation

Wentao Yuan, Chris Paxton+2 more|arXiv (Cornell University)|Sep 8, 2021

Robot Manipulation and Learning被引用数 13

ひとこと要約

SORNet は、正規化されたオブジェクトビューをクエリとして用いる視覚ベースのフレームワークであり、RGB画像からオブジェクト中心の表現を学習し、順序付けられた操作タスクにおける新規オブジェクトへのゼロショット一般化を可能にする。空間的推論タスク（例：空間関係分類や相対的方位回帰）において最先端の手法を上回り、微調整なしに現実世界のシミュレーションから現実への転送およびタスク計画を実現する。

ABSTRACT

Sequential manipulation tasks require a robot to perceive the state of an environment and plan a sequence of actions leading to a desired goal state. In such tasks, the ability to reason about spatial relations among object entities from raw sensor inputs is crucial in order to determine when a task has been completed and which actions can be executed. In this work, we propose SORNet (Spatial Object-Centric Representation Network), a framework for learning object-centric representations from RGB images conditioned on a set of object queries, represented as image patches called canonical object views. With only a single canonical view per object and no annotation, SORNet generalizes zero-shot to object entities whose shape and texture are both unseen during training. We evaluate SORNet on various spatial reasoning tasks such as spatial relation classification and relative direction regression in complex tabletop manipulation scenarios and show that SORNet significantly outperforms baselines including state-of-the-art representation learning techniques. We also demonstrate the application of the representation learned by SORNet on visual-servoing and task planning for sequential manipulation on a real robot.

研究の動機と目的

• 明示的な 6D ポーズ推定を必要とせずに、順序付けられた操作タスクにおけるオブジェクトレベルの推論を支援する表現学習フレームワークの開発。
• 訓練中に見られなかった形状やテクスチャを持つ新規オブジェクトに対して、正規化されたオブジェクトビューのみをクエリとして用いることでゼロショット一般化を実現すること。
• 論理的かつ連続的な空間的推論を両立できる、空間的に根拠を持つ微分可能な埋め込みを学習し、後続の計画および制御に活用すること。
• エンドツーエンド学習とモデルベース計画のギャップを埋めるために、生の RGB 入力からスケーラブルで一般化可能なオブジェクト中心の表現を提供すること。
• 学習された表現が、視覚サーボイングやオープンループ計画を含む現実世界の操作タスクに転送可能であることを実証すること。

提案手法

• SORNet は、正規化されたオブジェクトビューのセットを条件として RGB 画像からオブジェクト埋め込みを抽出するニューラルネットワークを用いる。
• モデルは、正規化されたビューと入力画像の間でクロスアテンション機構を用いて関連するオブジェクト領域に注目し、オブジェクト固有の埋め込みを生成する。
• 同じオブジェクトの異なるビューおよびシーン間での埋め込みを一致させるために、対照学習の目的関数を用いてエンドツーエンドで訓練する。
• 空間的推論タスクは、分類（例：空間述語）や回帰（例：3D 方向ベクトル）のための読み出しヘッドと組み合わせて SORNet 埋め込みを用いて実行する。
• インスタンス固有のアノテーションに依存せず、正規化されたビューの意味的および空間的一致性に依存することで、新規オブジェクトへのゼロショット一般化を実現する。
• オブジェクト数やシーン構成に依存しないようにアーキテクチャが設計されており、シーン内に任意の数のオブジェクトを扱える。

実験結果

リサーチクエスチョン

• RQ1 視覚ベースのモデルは、訓練時に見られなかった形状やテクスチャを持つ新規オブジェクトに対して、RGB 画像からゼロショットで一般化可能なオブジェクト中心の表現を学習できるか？
• RQ2 学習された表現は、離散的な論理的推論（例：空間述語）と連続的な空間的推論（例：3D 方向回帰）の両方をサポートできるか？
• RQ3 SORNet の表現は、微調整なしにシミュレーションから現実世界の操作タスクへどの程度転送可能か？
• RQ4 SORNet 埋め込みは、順序付けられた操作タスクにおける後続の計画および制御パイプラインで効果的に使用できるか？
• RQ5 SORNet の性能は、空間的推論ベンチマークにおいて最先端のシーンレベルの表現学習手法と比較してどの程度か？

主な発見

• SORNet は、複雑なテーブルトップ操作シナリオにおいて、空間関係分類および相対的方位回帰のタスクで最先端の性能を達成し、シーンレベルの表現ベースラインを上回る。
• 訓練時に見られなかった家庭用のオブジェクト（未確認の色や形状を含む）に対しても、実世界のテストシーンで述語分類の高精度なゼロショット一般化を実現する。
• シミュレーションから現実への転送において、微調整なしに実世界のシーンで空間的述語を正確に予測し、強力なドメイン一般化能力を示す。
• SORNet は、実ロボット上で未確認のオブジェクトを含む順序付けられた操作タスクについて、オープンループ計画を成功裏に実行可能にする。この際、状態入力として SORNet が予測した述語のみを用いる。
• SORNet 埋め込みの上に単純な MLP ヘッドを設けることで、3D 方向および距離を回帰し、エンドエフェクタのリアルタイム制御が可能な効果的なビジョナルサーボイングを実現する。
• RGB 入力のみで学習された埋め込みにもかかわらず、豊富な 3D 空間的情報が含まれており、明示的な深度監視なしにメトリクスに意味のある運動誘導を可能にする。