[论文解读] Efficient Globally Optimal 2D-to-3D Deformable Shape Matching

Zorah Lähner, Emanuele Rodolà+3 more|arXiv (Cornell University)|Jan 22, 2016

3D Shape Modeling and Analysis参考文献 32被引用 4

一句话总结

本文提出了一种全局最优、时间复杂度为多项式的二维到三维可变形形状匹配算法，将问题建模为在二维与三维形状的乘积3-流形上的最短环形路径寻找问题。该方法的最坏情况时间复杂度为 𝒪(mn² log n)，并提供精确解与 ε-近似解，实现了在可变形形状（包括具有拓扑变化的人类和猫）上的高效草图驱动三维形状检索，性能达到当前最先进水平。

ABSTRACT

We propose the first algorithm for non-rigid 2D-to-3D shape matching, where the input is a 2D shape represented as a planar curve and a 3D shape represented as a surface; the output is a continuous curve on the surface. We cast the problem as finding the shortest circular path on the product 3-manifold of the surface and the curve. We prove that the optimal matching can be computed in polynomial time with a (worst-case) complexity of $O(mn^2\log(n))$, where $m$ and $n$ denote the number of vertices on the template curve and the 3D shape respectively. We also demonstrate that in practice the runtime is essentially linear in $m\!\cdot\! n$ making it an efficient method for shape analysis and shape retrieval. Quantitative evaluation confirms that the method provides excellent results for sketch-based deformable 3D shape retrieval.

研究动机与目标

• 为解决缺乏适用于非刚性二维到三维形状匹配的方法，特别是针对具有拓扑变化的人类和动物等可变形形状的问题。
• 开发一种全局最优算法，从二维查询轮廓中计算出三维曲面上的连续、闭合匹配曲线。
• 在保持高检索精度的同时，确保对大规模形状（最多40,000个顶点）的计算效率。
• 通过基于学习对应关系的鲁棒二维到三维相似性准则，支持草图驱动的三维形状检索。

提出的方法

• 将问题表述为最小化一个能量泛函，表示在二维与三维形状的乘积3-流形上的最短环形路径。
• 采用基于乘积流形图表示的离散化方法，其中节点表示二维与三维顶点的配对。
• 应用戴克斯特拉算法在该图上计算最短路径，必要时通过分支限界法确保全局最优解。
• 引入 ε-近似变体以减少搜索空间，从而显著提升运行速度，仅以极小精度损失为代价。
• 支持对二维和三维数据使用不同的局部特征描述子，包括谱特征，以实现语义上有意义的对应关系。
• 将匹配能量用作三维形状检索的相似性度量，支持在嵌入空间中高效进行 k-NN 搜索。

Figure 2: Examples of correspondences between a cat contour and a 3D cat (left) and human contours and 3D humans (middle and right). The human shape (middle) exhibit a topological change along the hands which is handled well by our method. The contour on the right is handdrawn. The dashed lines deno

实验结果

研究问题

• RQ1 能否为具有非刚性变换和拓扑变化的可变形形状设计一种全局最优的二维到三维匹配方法？
• RQ2 计算全局最优二维到三维对应关系的时间复杂度是多少？是否可使其在大规模形状上具备实用性？
• RQ3 在草图驱动的三维形状检索中，使用 ε-近似解如何影响检索性能与运行时间？
• RQ4 能否有效比较二维与三维形状的谱特征，以实现语义上有意义的匹配？
• RQ5 匹配能量在多大程度上可作为三维形状检索的可靠相似性度量？

主要发现

• 所提方法的最坏情况时间复杂度为 𝒪(mn² log n)，其中 m 和 n 分别为二维与三维形状的顶点数。
• 全局算法在扩展的二维到三维检索数据集上达到 0.9984 的平均平均精度（MAP），显著优于 Shape DNA（0.4720）与共识分割方法（0.5907）。
• ε-近似变体显著降低了运行时间，同时保持高精度，在同一数据集上取得 0.9597 的 MAP。
• 对于手绘草图，该方法仍保持优异性能，人类形状的 MAP 为 0.9462，猫形的 MAP 为 0.9772。
• 使用匹配能量对三维模型进行嵌入，可在二维空间中成功分离所有类别，仅出现一个异常点（马靠近半人马），证明了该方法强大的判别能力。
• 该方法能有效处理拓扑变化，例如人体姿态中的肢体变化，即使在部分被遮挡或缺失的情况下，仍能保持连续且语义合理的对应关系。

Figure 3: Matching between a 2D query shape (left) and a 3D target shape achieved by solving a LAP between the same point-wise features our method uses (middle) and our method (right).