[論文レビュー] DualPoseNet: Category-level 6D Object Pose and Size Estimation Using Dual Pose Network with Refined Learning of Pose Consistency

Jiehong Lin, Zewei Wei+4 more|arXiv (Cornell University)|Mar 11, 2021

Robot Manipulation and Learning参考文献 31被引用数 6

ひとこと要約

DualPoseNetは、1枚のRGB-D画像からカテゴリレベルの6次元物体ポーズおよびサイズ推定を実現する二重ブランチポーズネットを提案する。ポーズ一貫性の高精度学習を実現するため、共有の球面畳み込みベースのエンコーダと、二つの並列ディコーダ（明示的および暗黙的）を採用している。暗黙的ディコーダにより推論時に自己教師付きの精錬が可能となり、特に高精度指標において最先端の性能を達成した。

ABSTRACT

Category-level 6D object pose and size estimation is to predict full pose configurations of rotation, translation, and size for object instances observed in single, arbitrary views of cluttered scenes. In this paper, we propose a new method of Dual Pose Network with refined learning of pose consistency for this task, shortened as DualPoseNet. DualPoseNet stacks two parallel pose decoders on top of a shared pose encoder, where the implicit decoder predicts object poses with a working mechanism different from that of the explicit one; they thus impose complementary supervision on the training of pose encoder. We construct the encoder based on spherical convolutions, and design a module of Spherical Fusion wherein for a better embedding of pose-sensitive features from the appearance and shape observations. Given no testing CAD models, it is the novel introduction of the implicit decoder that enables the refined pose prediction during testing, by enforcing the predicted pose consistency between the two decoders using a self-adaptive loss term. Thorough experiments on benchmarks of both category- and instance-level object pose datasets confirm efficacy of our designs. DualPoseNet outperforms existing methods with a large margin in the regime of high precision. Our code is released publicly at https://github.com/Gorilla-Lab-SCUT/DualPoseNet.

研究の動機と目的

• テスト用CADモデルにアクセスできない状況下で、カテゴリレベルの6次元物体ポーズおよびサイズ推定の課題に取り組む。
• SO(3)の全回転空間におけるポーズ予測精度を向上させること、特にカテゴリ内での形状変動が大きな物体に対して有効であるようにすること。
• カテゴリレベルの設定下で、3次元物体形状の回転同値特徴を学習する難しさを克服すること。
• Ground-truth CADモデルが存在しない状況下でも、推論時に自己適応的一致損失を用いてポーズを精錬する手法を実現すること。

提案手法

• RGB-D入力を用いて回転同値形状特徴を学習するため、球面畳み込みに基づく共有ポーズエンコーダを採用する。
• 入力RGB-D領域からの外観および形状特徴を統合して埋め込むために、球面融合モジュールを設計する。
• 二つの並列ディコーダを実装する：一つは直接ポーズ予測を行う明示的ディコーダ、もう一つは入力点群をその標準姿勢で再構築する暗黙的ディコーダ。
• 推論時に、二つのディコーダの予測が一致するように制約を課す自己適応的一致損失を導入する。
• CADモデルを必要とせず、一貫性損失を用いてエンコーダを繰り返し微調整することで、精度を向上させる。
• オフザシェルのインスタンスセグメンテーション（例：Mask R-CNN）を用いて、オブジェクト領域を分離し、それらをDualPoseNetパイプラインに供給する。

実験結果

リサーチクエスチョン

• RQ1 補完的な監視のもとで、二重ディコーダアーキテクチャがカテゴリレベルの設定下で6次元ポーズおよびサイズ推定を向上させることができるか？
• RQ2 点群再構築による暗黙的ポーズ予測は、CADモデルが存在しない状況下で一般化性能を向上させるとともに、精錬を可能にするか？
• RQ3 精錬されたポーズ一貫性学習は、特に高精度指標において予測精度をどの程度向上させるか？
• RQ4 提案手法は、最小限の適応でインスタンスレベルの6次元ポーズ推定タスクに一般化可能か？

主な発見

• DualPoseNetは、CAMERA25およびREAL275ベンチマークで、NOCS、SPD、CASSなどの先行手法を上回る最先端の性能を達成した。特に高精度指標において顕著な優位性を示した。
• 繰り返し精錬を用いる場合、YCB-VideoではmAPが96.5%、LineMODでは98.2%に達した（mean ADD(S) AUC指標）。
• 精錬プロセスにより、解空間のより正確な領域に最適化が引き寄せられることが実証され、より厳しいIoUおよび角度閾値でも性能が向上した。
• 推論時の精錬は、標準サーバー上で1インスタンスあたりわずか0.2秒の追加時間を要し、繰り返し最適化を実行しても効率的である。
• アブレーションスタディの結果、暗黙的ディコーダおよび精錬された一貫性学習の両方が、性能向上に顕著な寄与をしていることが確認された。
• 定性的な結果から、特に形状が複雑なラップトップのようなオブジェクトに対して、ベースライン手法よりもコンパクトで正確なバウンディングボックスを生成していることが示された。