[論文レビュー] DenseFusion: 6D Object Pose Estimation by Iterative Dense Fusion

Chen Wang, Danfei Xu+5 more|arXiv (Cornell University)|Jan 15, 2019

Robot Manipulation and Learning参考文献 43被引用数 93

ひとこと要約

DenseFusionは、RGB-D特徴のピクセル単位の密な融合と、既知の物体の6D姿勢推定のためのエンドツーエンドの反復的な改良を導入し、YCB-VideoとLineMODで最先端の結果とリアルタイム性能を達成します。PoseCNN+ICPをADD-S<2cmで3.5%上回り、約200x高速です。

ABSTRACT

A key technical challenge in performing 6D object pose estimation from RGB-D image is to fully leverage the two complementary data sources. Prior works either extract information from the RGB image and depth separately or use costly post-processing steps, limiting their performances in highly cluttered scenes and real-time applications. In this work, we present DenseFusion, a generic framework for estimating 6D pose of a set of known objects from RGB-D images. DenseFusion is a heterogeneous architecture that processes the two data sources individually and uses a novel dense fusion network to extract pixel-wise dense feature embedding, from which the pose is estimated. Furthermore, we integrate an end-to-end iterative pose refinement procedure that further improves the pose estimation while achieving near real-time inference. Our experiments show that our method outperforms state-of-the-art approaches in two datasets, YCB-Video and LineMOD. We also deploy our proposed method to a real robot to grasp and manipulate objects based on the estimated pose.

研究の動機と目的

• RGB-Dからのロバストな6D姿勢推定を clutter と occlusion の中で動機づける。
• カラーと深度の両方をピクセル単位の融合を介して局所的なジオメトリと外観を保持する。
• 遅い後処理の改良に依存せず、エンドツーエンドの反復的改良を統合する。
• YCB-VideoとLineMODデータセットで最先端の精度を示す。
• 推定姿勢を用いた実際的なロボット把持のリアルタイム性の実現性を示す。

提案手法

• RGBと深度を別々に処理して、密なピクセル単位のカラーと幾何埋め込みを抽出する。
• セグメント化された深度ピクセルを3D点群に変換し、PointNet風の幾何埋め込みネットワークを適用する。
• ピクセルごとにカラーと幾何を密に融合するネットワークを用いて、ピクセルごとの姿勢仮説と信頼度スコアを生成する。
• 学習は、学習済みのピクセル信頼度によりピクセルごとの姿勢損失を重み付けする複数項目的目標で行う（正則化項を含む）。
• 最も信頼度の高い姿勢を最終推定値として用い、ピクセルごとの予測を統合する。
• 以前に推定された姿勢に条件付けて姿勢残差を予測する、微分可能な反復的姿勢改良モジュールを組み込み、複数回の改良を可能にする。

実験結果

リサーチクエスチョン

• RQ1 RGB-D特徴の密なピクセル単位の融合は、グローバル融合と比較して遮蔽に対する頑健性を向上させるか？
• RQ2 エンドツーエンドの微分可能な反復改良は、遅い後処理なしで6D姿勢精度を向上させるか？
• RQ3 この方法は混雑したシーンでのリアルタイム推論が可能で、実機のロボット把持へ転用できるか？

主な発見

• DenseFusionのピクセル単位の密な融合は、連結による単純な融合ベースライン（例: PointFusion）を大幅に上回る。
• 反復改良モジュールは姿勢精度を向上させ、特にテクスチャが少ない対称的な物体（例: ボウル、バナナ）で顕著。
• このアプローチは厳しい遮蔽に対して頑健で、遮蔽が増大しても性能低下が最小で、遮蔽下でベースラインを上回る。
• YCB-Videoでは、反復バリアントが最良のADD-S性能を達成し、ADD-S<2cmでPoseCNN+ICPを3.5%上回り、リアルタイム速度（約16 FPS）で動作。
• LineMODでは、深度リファインメントを伴う従来のRGBメソッドを上回り、改良により追加の精度向上を得る（2回の反復で約8%）。
• 推定姿勢を用いたロボット把持実験は、60回の把持試行中73%の成功率を示す。