[論文レビュー] Probabilistic Category-Level Pose Estimation via Segmentation and Predicted-Shape Priors

Benjamin Burchfiel, George Konidaris|arXiv (Cornell University)|May 28, 2019

3D Shape Modeling and Analysis参考文献 16被引用数 7

ひとこと要約

本稿では、混合密度ネットワーク（MDN）と形状事前分布、シルエット整合性を組み合わせることで、1枚の深度画像からマルチモーダルなポーズ分布を生成する確率的カテゴリーレベル3次元ポーズ推定手法を提案する。予測された形状とセグメンテーションを活用して、事後分布に基づくサンプリング戦略によりポーズ推定を検証することで、ShapeNetおよびPix3Dデータセットにおいて、最先端手法と比較して顕著に大規模なポーズ誤差（>15°）を低減した。

ABSTRACT

We introduce a new method for category-level pose estimation which produces a distribution over predicted poses by integrating 3D shape estimates from a generative object model with segmentation information. Given an input depth-image of an object, our variable-time method uses a mixture density network architecture to produce a multi-modal distribution over 3DOF poses; this distribution is then combined with a prior probability encouraging silhouette agreement between the observed input and predicted object pose. Our approach significantly outperforms the current state-of-the-art in category-level 3DOF pose estimation---which outputs a point estimate and does not explicitly incorporate shape and segmentation information---as measured on the Pix3D and ShapeNet datasets.

研究の動機と目的

• 本稿の目的は、真値3次元モデルにアクセスできない新しいオブジェクトのカテゴリーレベル3次元ポーズ推定の課題に取り組むことである。
• 既存手法に共通する大規模なポーズ誤差（>15°）を低減するため、形状とセグメンテーションの整合性を組み込むことで、より頑健な推定を実現することである。
• 計算リソースの増加に応じて精度を動的に向上させる可変時間推論手法を開発することである。
• 生成的3次元形状モデル（HBEOs）と確率的ポーズ予測を統合し、マルチモーダルなポーズ推定を可能にすることである。
• 密度予測とポーズ整合性事前分布の両方が、点推定ベースラインに対する性能向上に不可欠であることを実証することである。

提案手法

• HBEOsの生成モデルを拡張し、混合密度ネットワーク（MDN）アーキテクチャを用いて3DOFポーズのマルチモーダル分布を出力する。
• 2次元ポーズ整合性スコアを用いて、3次元形状とポーズから投影された予測オブジェクトシルエットと、入力深度画像のシルエットとの一致度を評価する。
• シルエット一致に基づく事前確率を定式化し、最大事後確率（MAP）推定によるポーズ推定をガイドする。
• MAP推定に対してサンプリングベースの近似を適用し、より多くのサンプルを用いることで精度を向上させる可変時間推論を実現する。
• 生成モデルが潜在表現から3次元形状を再構築できる能力を活用し、ポーズ予測の妥当性を検証する。
• MDNによる密度推定と、シルエット整合性に基づいてポーズ候補を重み付けする事後推論ステップを統合する。

実験結果

リサーチクエスチョン

• RQ1 確率的でマルチモーダルなポーズ分布は、点推定ベースラインに比べてカテゴリーレベル3次元ポーズ推定を改善できるか？
• RQ2 シルエットベースの整合性事前分布は、新規オブジェクトのポーズ推定において、大規模なポーズ誤差（>15°）を効果的に低減できるか？
• RQ3 MDNに基づく密度予測と形状-シルエット事前分布の両方が、性能向上にどの程度寄与しているか？
• RQ4 本手法は可変時間処理が可能であり、推論時間や計算リソースの増加に応じて精度を向上させられるか？
• RQ5 標準ベンチマーク（Pix3DおよびShapeNet）において、RGBベースおよび深度ベースの最先端手法と比較して、本手法はどの程度優れているか？

主な発見

• HBEO-MDN-PosteriorはPix3Dデータセットで最高の性能を示し、RGBベースの手法を含むすべてのベースラインを上回った。特に、細分化度の高い状況（例：24方位ビン）で顕著な改善が見られた。
• 前回の最先端手法と比較して、顕著な水準で大規模なポーズ誤差（>15°）を低減した。特に、Pix3Dのチェアサブセットでは誤差率が15%相対的に改善された。
• アブレーションスタディの結果、MDNに基づく密度予測とシルエット整合性事前分布の両方が不可欠であることが確認された。両方を削除すると、性能が著しく低下した。
• HBEO-MDN-Posteriorは、Pix3Dにおける90°ビン方位タスクで97%、90°ビン仰角タスクで93%の精度を達成し、HBEOsおよび他の手法を上回った。
• 本手法はロボティクス用途に十分に高速であり、1秒間に複数のポーズ推定を生成可能で、時間予算に応じてスケーリング可能であり、サンプル数を増やすことで精度が向上する。
• 形状誤差（Sample + SDF Error）を用いたベースライン手法は、ランダム選択よりも性能が悪く、形状誤差だけではポーズ推定を効果的にガイドできないことが示された。