[論文レビュー] 3D Shape Estimation from 2D Landmarks: A Convex Relaxation Approach

Xiaowei Zhou, Spyridon Leonardos+2 more|arXiv (Cornell University)|Nov 11, 2014

Advanced Vision and Imaging参考文献 40被引用数 9

ひとこと要約

本稿では、回転可能な基底形状を用いて形状変動をモデル化し、スペクトルノルム正則化付きの凸計画問題として定式化することで、2次元のランドマークからの3次元形状推定のための凸緩和手法を提案する。この手法により、局所最適解に陥りやすい非凸手法と比較して、グローバル最適性を達成し、初期値が悪くても優れた性能を発揮する。人体ポーズ推定および自動車形状再構築の両分野で、優れた性能を示す。

ABSTRACT

We investigate the problem of estimating the 3D shape of an object, given a set of 2D landmarks in a single image. To alleviate the reconstruction ambiguity, a widely-used approach is to confine the unknown 3D shape within a shape space built upon existing shapes. While this approach has proven to be successful in various applications, a challenging issue remains, i.e., the joint estimation of shape parameters and camera-pose parameters requires to solve a nonconvex optimization problem. The existing methods often adopt an alternating minimization scheme to locally update the parameters, and consequently the solution is sensitive to initialization. In this paper, we propose a convex formulation to address this problem and develop an efficient algorithm to solve the proposed convex program. We demonstrate the exact recovery property of the proposed method, its merits compared to alternative methods, and the applicability in human pose and car shape estimation.

研究の動機と目的

• 2次元ランドマークからの同時3次元形状とカメラポーズ推定における非凸最適化の課題に対処すること。
• 従来の非凸手法で用いられる交互最小化スキームに内在する初期値への感受性を克服すること。
• スペクトルノルム正則化を用いた凸計画問題への問題の再定式化により、グローバル最適解を導出すること。
• 平均形状から著しく逸脱する形状に対しても、正確な3次元形状再構築を可能にすること。
• 形状空間モデルにおける従来の非凸フィッティング手法の代替として、ロバストで効率的な手法を提供すること。

提案手法

• 各形状を回転可能な基底形状の線形結合として表現する拡張された形状空間モデルを導入し、内在的変形および外在的視点変化の両方を線形でモデル化可能にする。
• 回転行列に対する非凸な直交制約を、凸なスペクトルノルム正則化に置き換えることで、問題を凸計画問題に緩和する。
• 得られた凸最適化問題を効率的に解くために、交替方向乗数法（ADMM）を用いる。
• スペクトルノルム正則化を用いた線形逆問題の定式化により、緩和によって生じる不正解を罰則化する。
• 形状パラメータとポーズパラメータの同時推定を、反復的な交互更新を避ける1つの凸最適化タスクとして扱う。
• 凸緩和理論に依拠し、解が大多数のケースで元の制約を満たすことを保証する。必要に応じて、正確な制約の強制のための後処理を実施する。

実験結果

リサーチクエスチョン

• RQ1 凸緩和アプローチは、非凸手法に共通する局所最適解に陥りにくい2次元ランドマークからの3次元形状推定において、グローバル最適性を達成できるか？
• RQ2 目標形状が平均形状から著しく離れている場合、特に初期値が悪くても、本手法の3次元形状再構築性能はどの程度であるか？
• RQ3 スペクトルノルム正則化は、標準的な非凸最適化と比較して、3次元形状フィッティングのロバスト性と精度をどの程度向上させるか？
• RQ4 本手法は、人体、セダン、SUV、ピックアップトラックなど多様なオブジェクトカテゴリに、最小限の再パラメータ化で一般化可能か？
• RQ5 本手法の計算効率は、交互最小化やPMPなどの既存の非凸代替手法と比較してどの程度か？

主な発見

• 合成実験において、本手法は正確な回復を達成し、凸緩和アプローチの理論的妥当性を示した。
• 人体ポーズ推定において、本手法は交互最小化法およびPMPアルゴリズムを上回り、1フレームあたり0.33秒の計算時間（対応する非凸手法は0.44秒および3.02秒）を達成した。
• 自動車再構築において、任意の初期化のもとでセダン、SUV、ピックアップトラックなど多様なクラスにおいて正確な3次元モデルを生成したが、ベースライン手法は非セダンモデルでは失敗した。
• 平均形状から著しく逸脱する形状に対しても、本手法は高い精度を維持したのに対し、他の手法は著しく性能を低下させた。これは、形状変動に対するロバスト性を示している。
• すべての結果は、フィンガリング処理を施さずに凸ソルバーから直接得られたものであり、解の多くが元の制約を満たしていた。これにより、緩和のきつさ（tightness）が妥当であることが検証された。