[论文解读] "Maximizing rigidity" revisited: a convex programming approach for generic 3D shape reconstruction from multiple perspective views

Pan Ji, Hongdong Li+2 more|arXiv (Cornell University)|Jul 17, 2017

Advanced Vision and Imaging被引用 3

一句话总结

本文提出了一种凸半定规划框架，通过在不显式估计相机位姿的情况下最大化刚性，统一了从多视角重建刚性与非刚性3D形状的问题。该方法将问题表述为凸优化问题，以最小化非刚性程度，从而在刚性、非刚性和关节运动数据集上实现了最先进精度，并保证全局最优性。

ABSTRACT

Rigid structure-from-motion (RSfM) and non-rigid structure-from-motion (NRSfM) have long been treated in the literature as separate (different) problems. Inspired by a previous work which solved directly for 3D scene structure by factoring the relative camera poses out, we revisit the principle of "maximizing rigidity" in structure-from-motion literature, and develop a unified theory which is applicable to both rigid and non-rigid structure reconstruction in a rigidity-agnostic way. We formulate these problems as a convex semi-definite program, imposing constraints that seek to apply the principle of minimizing non-rigidity. Our results demonstrate the efficacy of the approach, with state-of-the-art accuracy on various 3D reconstruction problems.

研究动机与目标

• 将刚性与非刚性结构从运动（SfM）统一到单一框架中，避免对两种情况分别处理。
• 克服传统两阶段SfM流水线的局限性，后者需要显式估计相机运动，并对刚性与非刚性场景采用不同方法。
• 开发一种与刚性无关的方法，能够基于观测图像测量自动确定最优3D结构。
• 通过使用凸刚性度量重新表述“最大化刚性”原则，实现通过半定规划的全局优化。
• 在包括形变、关节运动和刚性物体在内的多种3D运动类型上，实现最先进重建精度。

提出的方法

• 该方法通过从2D特征对应关系构建观测三角形，直接重建3D结构，绕过了显式相机位姿估计。
• 将3D重建问题表述为一个凸半定规划（SDP），通过最小化一种新型凸刚性度量来强制结构一致性。
• 刚性度量基于点对点距离偏差推导，促进在图像约束下尽可能保持刚性的解。
• 该方法采用SDP松弛以确保全局最优性，避免非凸公式中常见的局部极小值问题。
• 对于每个视图，该方法求解一个大小为(n+1)×(n+1)的SDP，其中n为3D点的数量，以联合估计结构并强制刚性。
• 该框架本质上与刚性无关，能根据数据自动适应刚性、非刚性或关节运动场景。

实验结果

研究问题

• RQ1 能否开发一种统一的3D重建框架，无需事先了解场景类型即可同时处理刚性与非刚性场景？
• RQ2 能否将“最大化刚性”原则重新表述为凸优化问题，以确保全局最优性？
• RQ3 与非凸替代方法相比，凸刚性度量是否在重建精度和鲁棒性方面表现更优？
• RQ4 该方法能否在包括关节运动和非刚性形变在内的多样化3D重建基准上实现最先进性能？
• RQ5 与现有凸公式相比，该方法在精度和计算可扩展性方面表现如何？

主要发现

• 在CMU Mocap数据集中，该方法在点关节序列上的平均相对3D误差为1.11%，在轴关节序列上为0.45%，显著优于基线方法[3]。
• 对于Dance、Drink、Pickup、Yoga和Stretch序列，所提方法的平均3D重建误差始终低于最先进基线[3]。
• 在HumanEva-I数据集上，该方法实现了0.162 mm的RMSE和3.02%的相对误差，优于基线[3]（其结果为0.200 mm和3.73%）。
• 该方法在HumanEva-I数据集上达到了最先进精度，表明其在非刚性形状重建方面具有优越性能。
• 该框架成功实现了低误差的关节运动重建，表明其对复杂运动类型的鲁棒性。
• 凸公式保证了全局最优性，避免了非凸方法中常见的局部极小值问题。