[論文レビュー] Efficient Globally Optimal 2D-to-3D Deformable Shape Matching

Zorah Lähner, Emanuele Rodolà+3 more|arXiv (Cornell University)|Jan 22, 2016

3D Shape Modeling and Analysis参考文献 32被引用数 4

ひとこと要約

本論文は、2次元から3次元への可変形状マッチングのためのグローバル最適で多項式時間のアルゴリズムを提案する。問題は、2次元および3次元形状の積3多様体上の最短円形経路を求めるものとして定式化される。最悪計算量は𝒪(mn² log n)であり、正確解とε-近似解の両方を提供する。これにより、トポロジー的変化を伴う人物やネコなどの可変形状を対象とした、最先端の性能を示す効率的なスケッチベース3次元形状検索が可能になる。

ABSTRACT

We propose the first algorithm for non-rigid 2D-to-3D shape matching, where the input is a 2D shape represented as a planar curve and a 3D shape represented as a surface; the output is a continuous curve on the surface. We cast the problem as finding the shortest circular path on the product 3-manifold of the surface and the curve. We prove that the optimal matching can be computed in polynomial time with a (worst-case) complexity of $O(mn^2\log(n))$, where $m$ and $n$ denote the number of vertices on the template curve and the 3D shape respectively. We also demonstrate that in practice the runtime is essentially linear in $m\!\cdot\! n$ making it an efficient method for shape analysis and shape retrieval. Quantitative evaluation confirms that the method provides excellent results for sketch-based deformable 3D shape retrieval.

研究の動機と目的

• 可変形状（例：人体や動物など、トポロジー的変化を伴うもの）に対する非剛体2次元から3次元形状マッチングのための手法が不足しているという問題に対処すること。
• 2次元クエリ輪郭から3次元表面に連続的かつ閉じたマッチング曲線を計算するグローバル最適なアルゴリズムの開発。
• 最大40,000頂点の大型形状に対しても計算効率を保ちながら、高い検索精度を維持すること。
• 学習された対応関係に基づく、信頼性の高い2次元から3次元の類似度基準を提供し、スケッチベース3次元形状検索を支援すること。

提案手法

• 問題は、2次元および3次元形状の積3多様体上の最短円形経路を表すエネルギー関数の最小化として定式化される。
• 積多様体のグラフ表現に基づく離散的定式化が用いられ、ノードは2次元および3次元の頂点のペアを表す。
• このグラフ上でダイクストラ法を適用し、必要に応じて分枝限定法を用いてグローバル最適解を保証する。
• 探索空間を制限することで実行時間を短縮するε-近似バージョンが導入され、わずかな精度の損失を差し引いても著しい高速化が達成される。
• 2次元および3次元データの異なる局所的特徴記述子（スペクトル特徴を含む）をサポートし、意味的に意味のある対応関係を実現する。
• マッチングエネルギーを3次元形状検索の類似度測度として用い、埋め込み空間における効率的なk-NN検索を可能にする。

Figure 2: Examples of correspondences between a cat contour and a 3D cat (left) and human contours and 3D humans (middle and right). The human shape (middle) exhibit a topological change along the hands which is handled well by our method. The contour on the right is handdrawn. The dashed lines deno

実験結果

リサーチクエスチョン

• RQ1 非剛体変形およびトポロジー的変化を伴う可変形状に対して、グローバル最適な2次元から3次元のマッチング手法を設計可能か？
• RQ2 グローバル最適な2次元から3次元の対応関係を計算する際の計算量はどの程度か？また、大規模形状に対しても実用的であるか？
• RQ3 ε-近似解の使用が、スケッチベース3次元形状検索における検索性能と実行時間に与える影響は？
• RQ4 2次元および3次元形状からのスペクトル特徴を効果的に比較することで、意味的に意味のあるマッチングを実現可能か？
• RQ5 マッチングエネルギーが3次元形状検索の信頼性の高い類似度指標としてどの程度有効か？

主な発見

• 提案手法は、2次元形状と3次元形状の頂点数をそれぞれmおよびnとすると、最悪計算量𝒪(mn² log n)を達成する。
• グローバルアルゴリズムは、拡張された2次元から3次元の検索データセットにおいて、平均平均精度（MAP）0.9984を達成し、Shape DNA（0.4720）およびコンSENSUSセグメンテーション（0.5907）を上回る性能を示した。
• ε-近似バージョンは実行時間を顕著に短縮しながらも高い精度を維持し、同一データセットでMAP 0.9597を達成した。
• 手書きスケッチに対しても優れた性能を示し、人体形状ではMAP 0.9462、ネコ形状ではMAP 0.9772を達成した。
• マッチングエネルギーを用いた3次元モデルの埋め込みは、2次元空間で全クラスを明確に分離した。唯一の外れ値は「キマイラの近くにいる馬」であった。これは本手法の識別力の高さを示している。
• 肢体の欠落や隠蔽が生じる場合でも、連続的かつ意味的に意味のある対応関係を維持できるため、トポロジー的変化（例：人体ポーズの変化）に対しても本手法は効果的に対応できる。

Figure 3: Matching between a 2D query shape (left) and a 3D target shape achieved by solving a LAP between the same point-wise features our method uses (middle) and our method (right).