[論文レビュー] SAR-Net: Shape Alignment and Recovery Network for Category-level 6D Object Pose and Size Estimation

Haitao Lin, Zichang Liu+4 more|arXiv (Cornell University)|Jun 27, 2021

Robotics and Sensor-Based Localization被引用数 5

ひとこと要約

SAR-Netは、実世界のアノテート済み学習データが不要なRGB-D画像とカテゴリーレベルの監視情報のみを用いて、軽量で幾何学的アプローチに基づくカテゴリーレベル6次元物体ポーズおよびサイズ推定を実現する。形状の整合性をカテゴリーレベルのテンプレート点群の変形によって実現し、3次元回転を暗黙的に表現するとともに、エンドツーエンドで学習された点群再構成によって対称的対応関係を活用して粗い3次元形状を回復する。NOCSベンチマークにおいて最先端の性能を達成し、Baxterロボットを用いた実用的なロボットハンドリングタスクにも成功を収めた。

ABSTRACT

Given a single scene image, this paper proposes a method of Category-level 6D Object Pose and Size Estimation (COPSE) from the point cloud of the target object, without external real pose-annotated training data. Specifically, beyond the visual cues in RGB images, we rely on the shape information predominately from the depth (D) channel. The key idea is to explore the shape alignment of each instance against its corresponding category-level template shape, and the symmetric correspondence of each object category for estimating a coarse 3D object shape. Our framework deforms the point cloud of the category-level template shape to align the observed instance point cloud for implicitly representing its 3D rotation. Then we model the symmetric correspondence by predicting symmetric point cloud from the partially observed point cloud. The concatenation of the observed point cloud and symmetric one reconstructs a coarse object shape, thus facilitating object center (3D translation) and 3D size estimation. Extensive experiments on the category-level NOCS benchmark demonstrate that our lightweight model still competes with state-of-the-art approaches that require labeled real-world images. We also deploy our approach to a physical Baxter robot to perform grasping tasks on unseen but category-known instances, and the results further validate the efficacy of our proposed model. Code and pre-trained models are available on the project webpage.

研究の動機と目的

• 合成画像と実画像の間のドメインギャップおよびクラス内変動の課題に対処すること。
• インスタンスレベルの3次元CADモデルへの依存を減らし、カテゴリーレベルの監視情報のみを用いること。
• 深度に基づく形状情報と幾何的事前知識（形状整合性と対称性）を活用して、頑健な3次元ポーズおよびサイズ推定を実現すること。
• 実世界のポーズアノテート済みデータが不要な実用的ロボット操作タスクへの展開を可能にすること。

提案手法

• 3次元回転を直交Procrustes問題として暗黙的に符号化することで、カテゴリーレベルのテンプレート点群を観測されたインスタンス点群に一致させる形状整合性を実現する。
• エンコーダ・デコーダネットワークを用いて、部分的に観測されたインスタンス点群から対称的な点群を予測することで、対称的対応関係をモデル化する。
• 観測された点群と予測された対称的点群を連結して完全な粗い3次元形状を再構成し、物体の中心およびサイズ推定を向上させる。
• 実世界のポーズアノテート済み画像が不要な合成データとカテゴリーレベルの監視情報に基づき、エンドツーエンドで訓練する。
• アブレーションスタディにより、テンプレート点群に36点が最適な表現能力と性能のトレードオフを提供することが判明した。
• 回転表現としての形状整合性は、クaternion、SVD、R6dといった標準的手法を上回り、特に厳しい評価基準下で優れた性能を示した。

実験結果

リサーチクエスチョン

• RQ1 カテゴリーレベルのテンプレートの形状整合性は、クラス内変動下でも3次元回転推定を向上させるか？
• RQ2 部分観測からの対称的対応関係は、より良いポーズおよびサイズ推定を実現するための3次元形状再構成を向上させるか？
• RQ3 実世界のトレーニングデータが不要な幾何学的アプローチが、カテゴリーレベル6次元ポーズ推定で最先端の性能を達成できるか？
• RQ4 提案手法は実世界のロボット操作タスクにどのように一般化するか？

主な発見

• SAR-Netは、カテゴリーレベル6次元物体ポーズおよびサイズ推定においてNOCSベンチマークで最先端の性能を達成し、厳密な$5^\circ$2cm評価基準下で平均平均精度（mAP）80.4%、正解率49.1%を達成した。
• ロボットハンドリングタスクにおいて、DualPose や SPD といった強力なベースラインを上回り、3つのカテゴリにまたがる12の未学習インスタンスで88.3%の成功率を達成した。
• ハンドオーバータスクでは80%の成功率を達成し、DualPose（73.3%）および SPD（66.7%）を上回り、優れた3次元回転推定の堅牢性を示した。
• ポーリングタスクでは73.3%の成功率を達成し、DualPose（60.0%）および SPD（53.3%）を上回り、動的ロボットタスクにおける実用性を裏付けた。
• アブレーションスタディにより、回転表現としての形状整合性は、クaternion、SVD、R6dよりも一般化性能に優れ、特に厳しいポーズ精度閾値下で顕著な優位性を示した。
• カテゴリーレベルのテンプレートにおける点数の最適値は36点であり、16点は点が粗すぎて性能が劣り、128点は探索空間を拡大し性能を低下させることが確認された。