[论文解读] 3D Shape Estimation from 2D Landmarks: A Convex Relaxation Approach

Xiaowei Zhou, Spyridon Leonardos+2 more|arXiv (Cornell University)|Nov 11, 2014

Advanced Vision and Imaging参考文献 40被引用 9

一句话总结

该论文提出了一种基于凸松弛的3D形状估计方法，通过可旋转基形状建模形状变化，并将问题表述为谱范数正则化的凸规划，实现了全局最优性，并在人体姿态和汽车形状重建中优于非凸方法，即使初始化较差也能取得优异性能。

ABSTRACT

We investigate the problem of estimating the 3D shape of an object, given a set of 2D landmarks in a single image. To alleviate the reconstruction ambiguity, a widely-used approach is to confine the unknown 3D shape within a shape space built upon existing shapes. While this approach has proven to be successful in various applications, a challenging issue remains, i.e., the joint estimation of shape parameters and camera-pose parameters requires to solve a nonconvex optimization problem. The existing methods often adopt an alternating minimization scheme to locally update the parameters, and consequently the solution is sensitive to initialization. In this paper, we propose a convex formulation to address this problem and develop an efficient algorithm to solve the proposed convex program. We demonstrate the exact recovery property of the proposed method, its merits compared to alternative methods, and the applicability in human pose and car shape estimation.

研究动机与目标

• 解决从2D关键点联合估计3D形状与相机位姿时非凸优化的挑战。
• 克服现有非凸方法中交替最小化方案固有的初始化敏感性问题。
• 通过引入谱范数正则化的凸规划重构，实现全局最优解。
• 即使形状显著偏离均值形状，也能实现精确的3D形状重建。
• 为现有非凸拟合方法在形状空间模型中提供一种鲁棒且高效的替代方案。

提出的方法

• 提出一种增强的形状空间模型，其中每种形状表示为可旋转基形状的线性组合，从而实现对内在形变和外在视角变化的线性建模。
• 用凸的谱范数正则化替代旋转矩阵上的非凸正交性约束，将问题松弛为凸规划。
• 使用交替方向乘子法（ADMM）高效求解所得的凸优化问题。
• 采用带谱范数正则化的线性逆问题公式，以惩罚因松弛而产生的无效解。
• 将形状参数与位姿参数的联合估计视为单一凸优化任务，避免迭代交替更新。
• 依赖凸松弛理论，确保解在大多数情况下满足原始约束，必要时通过后处理实现精确强制。

实验结果

研究问题

• RQ1 凸松弛方法是否能在从2D关键点进行3D形状估计时实现全局最优性，避免非凸方法中常见的局部极小值？
• RQ2 当目标形状远离均值形状时，尤其在初始化较差的情况下，该方法在3D形状重建中的表现如何？
• RQ3 与标准非凸优化相比，谱范数正则化在多大程度上提升了3D形状拟合的鲁棒性与准确性？
• RQ4 该方法能否在无需大量重参数化的情况下，泛化应用于人体、轿车、SUV和皮卡等多种物体类别？
• RQ5 与现有非凸方法（如交替最小化或PMP）相比，该凸方法的计算效率如何？

主要发现

• 在合成实验中，该方法实现了精确恢复，验证了凸松弛方法的理论有效性。
• 在人体姿态估计中，该方法优于交替最小化和PMP算法，每帧耗时0.33秒，而后者分别为0.44秒和3.02秒。
• 在汽车重建中，即使初始化任意，该方法也能在多种车型（轿车、SUV、皮卡）上生成精确的3D模型，而基线方法在非轿车模型上失败。
• 该方法在远离均值形状的形状上仍保持高精度，而其他方法显著退化，表明对形状可变性的强鲁棒性。
• 所有结果均由凸求解器直接获得，无需后处理优化；估计解在大多数情况下满足原始约束，验证了松弛的紧致性。