[論文レビュー] iCaps: Iterative Category-level Object Pose and Shape Estimation

Xinke Deng, Junyi Geng+3 more|arXiv (Cornell University)|Dec 31, 2021

Human Pose and Action Recognition被引用数 4

ひとこと要約

iCapsは、深度画像に基づくオートエンコーダーと潜在SDFベースの形状ネットワークを用いたRao-Blackwellizedパーティクルフィルタを用いて、反復的にポーズと形状を精緻化するカテゴリーレベルの6次元オブジェクトポーズおよび形状推定フレームワークを提案する。2次元検出とセグメンテーションによる初期化のみで、形状再構築品質と効率性において先行手法を上回る高い精度を達成する。

ABSTRACT

This paper proposes a category-level 6D object pose and shape estimation approach iCaps, which allows tracking 6D poses of unseen objects in a category and estimating their 3D shapes. We develop a category-level auto-encoder network using depth images as input, where feature embeddings from the auto-encoder encode poses of objects in a category. The auto-encoder can be used in a particle filter framework to estimate and track 6D poses of objects in a category. By exploiting an implicit shape representation based on signed distance functions, we build a LatentNet to estimate a latent representation of the 3D shape given the estimated pose of an object. Then the estimated pose and shape can be used to update each other in an iterative way. Our category-level 6D object pose and shape estimation pipeline only requires 2D detection and segmentation for initialization. We evaluate our approach on a publicly available dataset and demonstrate its effectiveness. In particular, our method achieves comparably high accuracy on shape estimation.

研究の動機と目的

• 3D CADモデルを必要とせず、クラス内での形状変動が著しい状況においてもカテゴリーレベルの6次元オブジェクトポーズ推定の課題に取り組むこと。
• 暗黙的形状表現を用いて、反復的にオブジェクトポーズと3次元形状を同時に推定・精緻化すること。
• 深度画像からインスタンスに依存しないポーズ埋め込みを学習することで、高価な3D CAD事前知識への依存度を低減すること。
• ポーズと形状の間の時間的整合性と反復的精緻化を活用して推定精度を向上させること。
• 2次元検出とセグメンテーションのみで初期化可能な効率的な推論を実現すること。

提案手法

• カテゴリーレベルのオートエンコーダーネットワークが深度画像を処理し、インスタンスに依存しない特徴埋め込みを生成し、オブジェクトポーズを符号化する。
• Rao-Blackwellizedパーティクルフィルタがこれらの埋め込みを用いて、動画フレーム間で6次元オブジェクトポーズを推定・追跡する。
• LatentNetが連続的な符号付き距離関数（SDF）を用いて、潜在的な形状表現を予測し、オブジェクトジオメトリを暗黙的にモデル化する。
• ポーズと形状を反復的に精緻化する：推定された形状がポーズ推定を向上させ、改善されたポーズが形状再構築を高める。
• システムは2次元オブジェクト検出とインスタンスセグメンテーションマスクを初期化に用い、真のポーズやCADモデルの必要性を排除する。
• 精緻化は周期的（例：10フレームごと）またはフレームごとに反復的に行い、速度と精度のバランスを取る。

Figure 1: The proposed system takes in depth maps and segmentation masks as inputs, and jointly estimates the 6D poses, size, and shape of the unseen objects in an iterative way so that pose and shape can improve each other.

実験結果

リサーチクエスチョン

• RQ1 3D CADモデルや真のポーズを初期化に要しないカテゴリーレベルの6次元オブジェクトポーズ推定システムが、高い精度を達成できるか？
• RQ2 ポーズと形状推定の間の反復的精緻化は、両方の精度向上にどの程度効果的か？
• RQ3 暗黙的SDFベースの形状表現は、深度画像のみから高品質で効率的な3次元形状再構築を可能にするか？
• RQ4 精緻化頻度とパーティクル数を変化させた際の、推論速度と推定精度のトレードオフは何か？
• RQ5 カテゴリーレベルの設定下で、最先端の手法と比較して形状再構築とポーズ推定の両面で本手法はどのように優れているか？

主な発見

• 提案手法は、精緻化なしのベースライン（18.50%）やLatentNetなしの設定（17.95%）よりも顕著に優れた5°5cm IoUを31.59%達成した。
• 形状再構築のチャムファーディスタンスはCASSやShape-Priorと比較して1桁低い値を示し、優れた形状品質を示している。
• ボトルクラスではLatentNetの推論時間が0.017秒にとどまる一方で、DeepSDFは5.20秒を要し、極めて高い効率性を示している。
• 精緻化なしでは12.22 fps、完全な反復的精緻化ありでは2.26 fpsで動作し、速度と精度のバランスを効果的に実現している。
• アブレーションスタディにより、ポーズ精緻化とLatentNetによる形状予測の両方が不可欠であることが確認され、いずれかを除去すると性能が著しく低下した。
• フレームごとに複数ステップで反復的精緻化を実施することで精度が向上し、1フレームごとに精緻化を適用した際に性能がピークに達した。

Figure 2: Architecture the proposed category-level pose and shape estimation framework. We first use a category-level generalization of the PoseRBPF system to estimate the 6D pose and the size of the object. An implicit shape representation (shape latent) is predicted with a deep neural network (Lat