[論文レビュー] Pose and Shape Estimation with Discriminatively Learned Parts

Menglong Zhu, Xiaowei Zhou+1 more|arXiv (Cornell University)|Feb 1, 2015

Human Pose and Action Recognition参考文献 32被引用数 3

ひとこと要約

本稿では、3次元ランドマークに整合する判別的2次元パーツ検出器を学習し、同時に幾何的整合性と外観適合性を最適化することで、1枚の画像から3次元ポーズと形状を統合的に推定するフレームワークを提案する。スパースな形状基底とADMMに基づく凸最適化を用いることで、FG3D Carデータセットにおいて、視点推定の平均APDが3.4°であり、先行手法よりも低いフィッティング誤差を達成し、最先端の性能を発揮した。

ABSTRACT

We introduce a new approach for estimating the 3D pose and the 3D shape of an object from a single image. Given a training set of view exemplars, we learn and select appearance-based discriminative parts which are mapped onto the 3D model from the training set through a facil- ity location optimization. The training set of 3D models is summarized into a sparse set of shapes from which we can generalize by linear combination. Given a test picture, we detect hypotheses for each part. The main challenge is to select from these hypotheses and compute the 3D pose and shape coefficients at the same time. To achieve this, we optimize a function that minimizes simultaneously the geometric reprojection error as well as the appearance matching of the parts. We apply the alternating direction method of multipliers (ADMM) to minimize the resulting convex function. We evaluate our approach on the Fine Grained 3D Car dataset with superior performance in shape and pose errors. Our main and novel contribution is the simultaneous solution for part localization, 3D pose and shape by maximizing both geometric and appearance compatibility.

研究の動機と目的

• 1枚の画像から3次元ポーズと形状を同時に推定する課題に取り組み、離散的ポーズクラスタリングや初期ポーズ推定に依存しないようにすること。
• 3次元モデル上の3次元ランドマークに対応する2次元パーツのコンactで、判別的な表現を学習し、一般化性能とロバストネスを向上させること。
• 幾何的再投影誤差と外観一致の両方をバランスさせながら、パーツの局所化、3次元ポーズ、形状係数を同時に最適化すること。
• 物体クラスの事前知識や明示的な3次元インスタンスマッチングを必要とせずに、正確な3次元再構成と視点推定を可能にすること。
• RANSAC や非線形最適化の限界を克服し、局所最適解を避ける凸形式を用いることで、局所最適解の問題を回避すること。

提案手法

• 3次元モデルから投影された3次元ランドマークを中心とする2次元パーツ記述子を、訓練画像から判別的に学習する。
• 判別力とカバー範囲を最大化するように、最小限の代表的3次元ランドマークを選択するための施設配置最適化を用いる。
• 訓練セットから導出された基底形状のスパースな線形結合を用いて、クラス内形状変動を表現する。
• 学習済みパーツ検出器を用いてテスト画像内で複数のパーツ仮説を検出し、可視性および距離に基づくプルーニングを実施する。
• ADMMを用いて解く凸目的関数として定式化することで、幾何的再投影誤差と外観一致の両方を最小化するように、ポーズと形状を同時に最適化する。
• 形状係数と3次元回転パラメータを1つの行列変数に統合し、統合的な最適化を実現する。

実験結果

リサーチクエスチョン

• RQ1 判別的に訓練されたパーツモデルを、3次元ランドマークに効果的にマッピングすることで、3次元ポーズと形状の統合推定が可能になるか？
• RQ2 ペアワイズ制約や離散的ポーズ初期化に依存せずに、幾何的整合性と外観適合性を同時に最適化する方法は何か？
• RQ3 スパースな形状基底は、クラス内形状変動を効果的にモデル化できるか？ また、未学習のインスタンスへの一般化も可能か？
• RQ4 ADMMを用いた凸最適化フレームワークは、非凸な代替手法に比べて局所最適解を回避し、精度を向上させられるか？
• RQ5 本手法は、学習時に見られなかった新しい物体インスタンスに対しても、どの程度一般化可能か？

主な発見

• FG3DCarデータセットにおいて、本手法は視点推定の平均誤差が3.4°に達し、20°および40°の離散化スキームにおいて、V-DPMを顕著に上回った。
• 52個の選択された判別的ランドマークにおいて、形状空間基底を用いることで、平均APDが14.6ピクセルに達し、平均形状およびクラス平均ベースラインを上回った。
• 訓練に使用した52個の自動選択ランドマークとは異なり、64個のデータセット提供ランドマークの全セットにおいて、FG3D手法よりもフィッティング誤差を低減した。
• ピックアップトラックに対して、FG3D手法を顕著に上回り、形状変動が著しい困難な物体カテゴリに対してもロバストであることが示された。
• 定性的な結果から、新しい視点における3次元ワイヤフレーム投影とテクスチャ付き3次元再構成が安定して得られ、正確なポーズと形状回復が確認された。
• 可視性および距離に基づくプルーニングの導入により、仮説選択の精度と安定性が向上し、最終的なポーズと形状推定の精度が向上した。