[論文レビュー] CPS: Class-level 6D Pose and Shape Estimation From Monocular Images

Fabian Manhardt, Manuel Nickel+3 more|arXiv (Cornell University)|Mar 12, 2020

Robot Manipulation and Learning参考文献 44被引用数 14

ひとこと要約

本論文は、単一のモノクロム画像からクラスレベルの6次元姿勢とメトリック形状推定を実現する新しい深層学習アプローチを提案する。3次元回転、並進、スケール、形状を統一された点群損失を用いて同時に最適化することで、モノクロムの曖昧性にもかかわらず、最先端の性能を達成している。

ABSTRACT

Contemporary monocular 6D pose estimation methods can only cope with a handful of object instances. This naturally limits possible applications as, for instance, robots need to work with hundreds of different objects in a real environment. In this paper, we propose the first deep learning approach for class-wise monocular 6D pose estimation, coupled with metric shape retrieval. We propose a new loss formulation which directly optimizes over all parameters, i.e. 3D orientation, translation, scale and shape at the same time. Instead of decoupling each parameter, we transform the regressed shape, in the form of a point cloud, to 3D and directly measure its metric misalignment. We experimentally demonstrate that we can retrieve precise metric point clouds from a single image, which can also be further processed for e.g. subsequent rendering. Moreover, we show that our new 3D point cloud loss outperforms all baselines and gives overall good results despite the inherent ambiguity due to monocular data.

研究の動機と目的

• 既存のモノクロム6次元姿勢推定手法が少数のオブジェクトインスタンスに限定されているという制限を解消し、実世界のロボットアプリケーションへの応用を促進すること。
• 1枚の画像から、数百のオブジェクトカテゴリをカバーする、正確なクラスレベルの6次元姿勢とメトリック形状推定を可能にすること。
• モノクロムデータに内在する曖昧性を、3次元回転、並進、スケール、形状パラメータを同時に最適化することで克服すること。
• 再構築された3次元点群のメトリック誤差を直接最適化する統一された損失関数を開発すること。
• 予測されたメトリック点群が、レンダリングなどの後続タスクに有効に利用可能であることを実証すること。

提案手法

• エンドツーエンドの最適化で、3次元回転、並進、スケール、形状パラメータを統合的に最適化する新しい損失関数を提案する。
• 予測された形状（点群として表現）を3次元空間に変換し、そのメトリック誤差を真値と直接測定する。
• 深層ニューラルネットワークを用いて、1枚のモノクロム画像から6次元姿勢と形状パラメータを回帰する。
• 点群損失をトレーニングパイプラインに統合し、幾何的正確性を直接最適化可能にする。
• 微分可能なレンダリングまたは変換レイヤーを活用して、予測された形状が微分可能であり、3次元メトリック再構築と互換性を持つように保証する。
• オブジェクトクラス間での一般化を可能にするために、6次元姿勢と形状アノテーションが付与された画像データセットを用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、広範なオブジェクトクラスにわたって、単一のモノクロム画像から6次元姿勢とメトリック形状を同時に推定できるか？
• RQ2 3次元点群誤差を直接最適化する統一された損失関数は、分離または間接的监督戦略を上回る性能を発揮するか？
• RQ3 モノクロム画像に内在する深度の曖昧性にもかかわらず、モデルはどれほどメトリック的に正確な3次元形状を回復できるか？
• RQ4 予測されたメトリック点群は、レンダリングや3次元再構築などの後続タスクに有効に利用できるか？
• RQ5 6次元姿勢と形状推定の精度において、本手法は既存のベースラインと比較してどのように優れているか？

主な発見

• 提案手法は、ベンチマークデータセットにおいて、すべての先行研究を上回る最先端の性能を達成した。
• メトリック点群誤差を直接最適化することで、間接的または分離的监督に比べて、より正確な3次元形状再構築が可能になった。
• モデルは、同じクラスに属する未観測のオブジェクトカテゴリに対しても一般化を示しており、クラスレベルの一般化能力を実証した。
• 予測されたメトリック点群は、3次元レンダリングや幾何的推論などの後続アプリケーションに十分な精度で利用可能であった。
• モノクロム画像に内在する深度の曖昧性にもかかわらず、姿勢と形状の同時最適化のおかげで、本手法は強固な性能を維持した。
• アブレーションスタディの結果、幾何的正確性の向上において、提案された点群損失が代替の損失形式よりも優れていることが確認された。