[論文レビュー] A Universal Semantic-Geometric Representation for Robotic Manipulation

Tong Zhang, Yingdong Hu+3 more|arXiv (Cornell University)|Jun 18, 2023

Human Pose and Action RecognitionComputer Science被引用数 3

ひとこと要約

本論文では、セットアブstractionブロックを用いて、RGB画像からの事前学習済み2次元セマンティック特徴と、深度ポイントクラウドからの3次元幾何特徴を統合する、普遍的なセンシングモジュールであるセマンティック・ジオメトリックリプレゼンテーション（SGR）を提案する。SGRは、シミュレーションおよび現実世界のロボット操作タスクの両方で最先端の性能を達成し、色や形状といった訓練時に見られなかった新たなセマンティック属性に対してもゼロショット一般化を実現しており、R3M、CLIP、PerActといった手法と比較して、単一タスクおよびマルチタスク設定の両方で顕著な優位性を示している。

ABSTRACT

Robots rely heavily on sensors, especially RGB and depth cameras, to perceive and interact with the world. RGB cameras record 2D images with rich semantic information while missing precise spatial information. On the other side, depth cameras offer critical 3D geometry data but capture limited semantics. Therefore, integrating both modalities is crucial for learning representations for robotic perception and control. However, current research predominantly focuses on only one of these modalities, neglecting the benefits of incorporating both. To this end, we present $ extbf{Semantic-Geometric Representation} ( extbf{SGR})$, a universal perception module for robotics that leverages the rich semantic information of large-scale pre-trained 2D models and inherits the merits of 3D spatial reasoning. Our experiments demonstrate that SGR empowers the agent to successfully complete a diverse range of simulated and real-world robotic manipulation tasks, outperforming state-of-the-art methods significantly in both single-task and multi-task settings. Furthermore, SGR possesses the capability to generalize to novel semantic attributes, setting it apart from the other methods. Project website: https://semantic-geometric-representation.github.io.

研究の動機と目的

• 2次元ビジョンモデルからの豊富なセマンティック理解と、深度データからの正確な3次元空間的推論を統合する包括的表現を開発すること。
• 現在の手法が2次元または3次元表現に限定されていることによる制限を克服し、複雑な現実世界環境における一般化を妨げる要因を解消すること。
• 訓練時に見られなかった属性（例：色や形状）に対してもゼロショット一般化を可能にすること。
• タスク固有の設計を必要とせず、多様な操作タスクに適応可能なスケーラブルでエンドツーエンドの視覚的モーター制御フレームワークを構築すること。
• マルチビューおよびシングルビューの設定において、SGRの有効性を検証すること。特に、Franka Emika Panda ロボットにおける現実世界での展開を含む。

提案手法

• 大規模な事前学習済み2次元ビジョン基盤モデルを活用し、RGB画像からセマンティック特徴マップを抽出する。
• 2次元セマンティック特徴を3次元空間にバックプロジェクションし、ポイントベースのネットワーク（例：PointNeXt）によって抽出された3次元ポイントクラウド特徴と統合する。
• セットアブストラクション（SA）ブロックを用いて、2次元セマンティクスと3次元幾何の間のクロスモーダル相互作用を統合的にモデリングし、共同推論を可能にする。
• RLBenchベンチマーク上で、融合されたSGR特徴を入力として行動クラッシングを用いて制御ポリシーを学習する。
• RGBの色を幾何ブランチに統合する必要がある場合にのみ適用するが、色付きポイントクラウドでの事前学習が不足しているため、性能が低下することを示す。
• 事前学習済みエンコーダーをランダム初期化のものに置き換えて、事前学習の重要性をアブレーションし、一般化に於いてその重要性を確認する。

実験結果

リサーチクエスチョン

• RQ1 2次元セマンティクスと3次元幾何情報を統合する包括的表現は、ロボット操作タスクの性能を顕著に向上させることができるか？
• RQ2 提案されたSGRモデルは、訓練時に見られなかったような新たなセマンティック属性（例：未確認の色や形状）に一般化可能か？
• RQ3 シングルビューとマルチビューのカメラ設定において、特に幾何的理解の観点からSGRの性能はどのように異なるか？
• RQ4 大規模データでの事前学習は、初期化から学習する場合と比較して、一般化性能をどの程度向上させるか？
• RQ5 タスク固有の適応なしに、現実世界での展開においてもSGRは強力な性能を発揮できるか？

主な発見

• マルチタスク学習において、SGRはRLBenchベンチマークで68.6%の成功率を達成し、R3M（17.6%）、CLIP（30.2%）、PerAct（54.7%）を顕著に上回った。
• シングルタスク学習において、SGRは8つのタスクの平均で75.7%の成功率を達成し、同じ設定でCLIP（56.0%）とR3M（38.0%）を上回った。
• 現実世界のFranka Emika Panda ロボットにおいて、視覚的干渉要因を伴うタスクで、強力なベースラインであるPerActを上回り、複雑な現実環境下でも頑健であることを示した。
• 前面カメラのみを用いたシングルビュー設定においても、SGRは平均55.3%の成功率を維持し、CLIP（29.7%）とR3M（31.5%）を上回ったが、幾何情報は制限されている。
• アブレーションスタディの結果、事前学習済みエンコーダーを削除すると性能が著しく低下し、一般化に於いて事前学習の重要性を確認した。
• 幾何ブランチにRGB色を追加すると性能が低下し、色付きポイントクラウドでの事前学習が不足している場合、モデルが誤った特徴に敏感であることが示された。