[論文レビュー] DONet: Learning Category-Level 6D Object Pose and Size Estimation from Depth Observation.

Haitao Lin, Zichang Liu+4 more|arXiv (Cornell University)|Jun 27, 2021

Robot Manipulation and Learning参考文献 46被引用数 6

ひとこと要約

本稿では、実世界のポーズアノテーション付き学習データを一切必要とせず、深度画像のみを用いてカテゴリーレベルの6次元物体ポーズおよびサイズ推定を実現するDONetを提案する。3D-OCRを用いて方向一貫性のある3次元表現学習を実現し、GeoReSで幾何的対称性制約を強制し、MPDEで鏡像ペアのサイズと中心座標推定を実現することで、NOCSベンチマークで最先端の性能を達成し、未学習のカテゴリーレベルの物体に対するロボット操作も成功させた。

ABSTRACT

We propose a method of Category-level 6D Object Pose and Size Estimation (COPSE) from a single depth image, without external pose-annotated real-world training data. While previous works exploit visual cues in RGB(D) images, our method makes inferences based on the rich geometric information of the object in the depth channel alone. Essentially, our framework explores such geometric information by learning the unified 3D Orientation-Consistent Representations (3D-OCR) module, and further enforced by the property of Geometry-constrained Reflection Symmetry (GeoReS) module. The magnitude information of object size and the center point is finally estimated by Mirror-Paired Dimensional Estimation (MPDE) module. Extensive experiments on the category-level NOCS benchmark demonstrate that our framework competes with state-of-the-art approaches that require labeled real-world images. We also deploy our approach to a physical Baxter robot to perform manipulation tasks on unseen but category-known instances, and the results further validate the efficacy of our proposed model. Our videos are available in the supplementary material.

研究の動機と目的

• 実世界のポーズアノテーション付き学習データに依存せずに、カテゴリーレベルの6次元物体ポーズおよびサイズ推定を達成する挑戦に応えること。
• RGBモダリティに依存せずに、深度画像に内在する豊富な幾何的情報を活用して物体ポーズとサイズを推定すること。
• 対称性や方向一貫性といった幾何的事前知識を統合した包括的なフレームワークを構築し、一般化性能を向上させること。
• 実世界のロボット操作タスクにおいて、未知のインスタンスを含む既知のカテゴリにゼロショット一般化を可能にすること。
• 未学習の物体を用いた物理的Baxterロボットへの実装を通じて、妥当性と有効性を実証すること。

提案手法

• 物体の向きにかかわらず一貫性のある3次元表現を学習できる3D-OCR（3D Orientation-Consistent Representations）モジュールを導入し、統合的3次元表現を学習する。
• 深度の幾何構造から導出される対称性制約を強制するGeoReS（Geometry-constrained Reflection Symmetry）モジュールを採用し、ポーズ推定の精度を向上させる。
• 深度データに内在する対称的幾何パターンを活用して、物体のサイズと中心座標を推定するMPDE（Mirror-Paired Dimensional Estimation）モジュールを活用する。
• 実世界のポーズアノテーションを必要とせず、合成データまたは自己教師付きの監視信号を用いて、全体のフレームワークをエンドツーエンドで学習する。
• 深度画像の幾何的構造を活用して、明示的なカテゴリ特化のファインチューニングなしに、カテゴリーレベルの事前知識を暗黙的に学習する。
• すべてのモジュールを統合した単一の統合ネットワークを構築し、1枚の深度入力から6次元ポーズ（位置、方向）とサイズを同時に推定する。

実験結果

リサーチクエスチョン

• RQ1 実世界のポーズアノテーション付きデータを一切使わず、深度画像のみで6次元物体ポーズおよびサイズ推定を正確に行うことは可能か？
• RQ2 反射対称性や方向一貫性といった幾何的事前知識は、カテゴリーレベルの一般化性能を向上させるのにどの程度有効か？
• RQ3 RGBベースの最先端手法と同等の性能を達成できるか、深度のみの手法がどの程度の性能を示せるか？
• RQ4 実世界のロボット操作タスクにおいて、既知のカテゴリ内での未知インスタンスに一般化できるか？
• RQ5 3D-OCR、GeoReS、MPDEの各モジュールが、個別および統合的に最終的な推定性能にどのように寄与しているか？

主な発見

• DONetはカテゴリーレベルのNOCSベンチマークで競争力のある性能を達成し、RGBと実世界のポーズアノテーションデータに依存する最先端手法と同等またはそれを上回った。
• モデルは同じカテゴリ内の未学習インスタンスに対しても効果的に一般化でき、強力なゼロショット一般化能力を示した。
• 特に対称的または構造的な物体に対して、幾何的事前知識（特にGeoReSとMPDE）の統合が推定精度を顕著に向上させた。
• 物理的Baxterロボット上での未学習のカテゴリーレベル物体の操作に成功させ、実用的応用の有効性を実証した。
• アブレーションスタディの結果、各モジュール（3D-OCR、GeoReS、MPDE）が最終性能に有意義に寄与しており、完全なモデルがアブレーションバージョンを上回った。
• ポーズ推定およびサイズ推定の両方において高い精度を達成し、NOCSベンチマークにおけるmAPおよびmREスコアの定量的評価で優れた結果を示した。