[论文解读] Exploiting Symmetry and/or Manhattan Properties for 3D Object Structure Estimation from Single and Multiple Images

Yuan Gao, Alan Yuille|arXiv (Cornell University)|Jul 25, 2016

Advanced Vision and Imaging参考文献 35被引用 6

一句话总结

该论文提出了一种新颖的对称刚性结构从运动（Sym-RSfM）方法，通过结合对称性与多张图像，提升了单视图和多视图下3D物体结构的估计性能。通过建立一种考虑对称性的能量最小化问题，并利用SVD分解的代理能量函数实现鲁棒初始化，该方法在Pascal3D+数据集上取得了最先进性能，显著优于基线方法，在包括汽车、飞机和沙发在内的多个物体类别中，均在形状误差和旋转误差方面表现更优。

ABSTRACT

Many man-made objects have intrinsic symmetries and Manhattan structure. By assuming an orthographic projection model, this paper addresses the estimation of 3D structures and camera projection using symmetry and/or Manhattan structure cues, which occur when the input is single- or multiple-image from the same category, e.g., multiple different cars. Specifically, analysis on the single image case implies that Manhattan alone is sufficient to recover the camera projection, and then the 3D structure can be reconstructed uniquely exploiting symmetry. However, Manhattan structure can be difficult to observe from a single image due to occlusion. To this end, we extend to the multiple-image case which can also exploit symmetry but does not require Manhattan axes. We propose a novel rigid structure from motion method, exploiting symmetry and using multiple images from the same category as input. Experimental results on the Pascal3D+ dataset show that our method significantly outperforms baseline methods.

研究动机与目标

• 通过在单一框架中结合对称性与多图像线索，提升3D物体结构估计性能。
• 解决在对称性约束下，由于遮挡和关键点缺失导致的3D重建挑战。
• 开发一种鲁棒的优化策略，避免基于对称性的结构从运动方法陷入局部极小值。
• 在包含类内差异的真实世界物体类别上，于Pascal3D+基准上超越现有方法。

提出的方法

• 建立一个融合对称性约束和潜在变量（用于遮挡关键点）的概率能量最小化问题。
• 引入一个代理能量函数，将对称关键点对分组，并假设已知缺失数据以实现初始化。
• 将代理能量分解为两个独立项，每项均可通过奇异值分解（SVD）求解，实现高效优化。
• 采用两阶段优化：首先利用SVD最小化代理能量，然后通过坐标下降法在原始能量函数上精炼解。
• 利用正交投影和规范自由度，将对称轴对齐至x轴，从而简化优化空间。
• 采用对称感知的坐标下降算法，将未观测到的关键点视为潜在变量，提升对噪声和遮挡的鲁棒性。

实验结果

研究问题

• RQ1 在正交投影下，对称性与曼哈顿结构能否联合实现从单张图像的3D结构恢复？
• RQ2 当曼哈顿结构不可靠或被遮挡时，如何在多图像结构从运动中有效利用对称性？
• RQ3 能否设计一种代理能量函数，将对称结构从运动问题分解为可由SVD求解的组件？
• RQ4 初始化质量对基于对称性的3D重建中收敛性和准确性有何影响？
• RQ5 在真实世界数据集上，该方法与基线SfM和CSF方法相比，在鲁棒性和准确性方面表现如何？

主要发现

• 所提出的Sym-RSfM方法在Pascal3D+数据集中绝大多数物体类别上实现了最低的平均形状误差，包括飞机（0.19）、汽车（0.81）和沙发（0.22），显著优于RSfM和CSF基线方法。
• 对于飞机类别，该方法将平均形状误差从RSfM的1.17降低至0.19，显著提升了重建精度。
• 在沙发类别中，该方法实现了0.22的平均形状误差，而CSF（R）为2.27，表现出对噪声或不完整标注的更强鲁棒性。
• 实验表明，该方法对不完美的关键点标注具有鲁棒性，如附录材料中添加高斯噪声的实验所示。
• 代理能量分解实现了有效的初始化，显著提升了收敛性，并降低了坐标下降优化中陷入局部极小值的风险。