[论文解读] Multi-body Non-rigid Structure-from-Motion

Suryansh Kumar, Yuchao Dai+1 more|arXiv (Cornell University)|Jul 15, 2016

Advanced Vision and Imaging参考文献 21被引用 3

一句话总结

该论文提出了首个用于多体非刚性结构光束法（NRSFM）的框架，通过联合重建3D形状并分割多个非刚性物体的2D特征轨迹，实现端到端的3D重建与分割。通过将每个物体的运动建模为仿射子空间，并利用稀疏编码强制实现自表达性，该方法采用ADMM求解非凸优化问题，在合成序列和真实序列上均优于两阶段方法，实现了更优的3D重建与分割效果。

ABSTRACT

Conventional structure-from-motion (SFM) research is primarily concerned with the 3D reconstruction of a single, rigidly moving object seen by a static camera, or a static and rigid scene observed by a moving camera --in both cases there are only one relative rigid motion involved. Recent progress have extended SFM to the areas of {multi-body SFM} (where there are {multiple rigid} relative motions in the scene), as well as {non-rigid SFM} (where there is a single non-rigid, deformable object or scene). Along this line of thinking, there is apparently a missing gap of "multi-body non-rigid SFM", in which the task would be to jointly reconstruct and segment multiple 3D structures of the multiple, non-rigid objects or deformable scenes from images. Such a multi-body non-rigid scenario is common in reality (e.g. two persons shaking hands, multi-person social event), and how to solve it represents a natural {next-step} in SFM research. By leveraging recent results of subspace clustering, this paper proposes, for the first time, an effective framework for multi-body NRSFM, which simultaneously reconstructs and segments each 3D trajectory into their respective low-dimensional subspace. Under our formulation, 3D trajectories for each non-rigid structure can be well approximated with a sparse affine combination of other 3D trajectories from the same structure (self-expressiveness). We solve the resultant optimization with the alternating direction method of multipliers (ADMM). We demonstrate the efficacy of the proposed framework through extensive experiments on both synthetic and real data sequences. Our method clearly outperforms other alternative methods, such as first clustering the 2D feature tracks to groups and then doing non-rigid reconstruction in each group or first conducting 3D reconstruction by using single subspace assumption and then clustering the 3D trajectories into groups.

研究动机与目标

• 填补SFM研究中的空白：多体非刚性结构光束法，即存在多个独立变形物体的情形。
• 同时解决非刚性物体的3D重建与运动分割问题，而非采用顺序的两阶段方法。
• 利用子空间聚类原理，将每个非刚性物体的3D轨迹建模为低维仿射子空间中的点。
• 开发一种高效的优化框架，通过交替方向乘子法（ADMM）联合估计3D结构与分割结果。
• 在多个非刚性物体相互作用的复杂真实世界与合成序列中，验证方法的优越性能。

提出的方法

• 将每个非刚性物体的3D轨迹建模为位于仿射子空间中，实现运动的低秩表示。
• 强制自表达性：每个3D轨迹由同一结构中其他轨迹的稀疏仿射组合表示。
• 将问题表述为带有核范数与稀疏性正则化的非凸优化问题，并通过ADMM求解。
• 利用稀疏编码得到的亲和矩阵指导分割，确保同一物体的轨迹被正确分组。
• 在密集序列中引入邻近约束，以提升重建的保真度。
• 端到端地应用于2D特征轨迹，直接输出3D重建结果与分割结果。

实验结果

研究问题

• RQ1 我们能否在不假设单一刚性或非刚性运动的前提下，仅从单目图像序列中联合重建并分割多个非刚性物体？
• RQ2 与两阶段方法相比，将非刚性运动建模为自表达仿射子空间是否能提升3D重建与分割的准确性？
• RQ3 所提出的基于ADMM的优化方法是否能有效处理多体NRSFM的非凸性，同时保持计算效率？
• RQ4 在存在非刚性物体相互作用的复杂真实世界序列中（如人们握手或多人同时做手势），该方法表现如何？
• RQ5 该方法能否在密集特征轨迹与更长视频序列上保持性能，而不会出现显著退化？

主要发现

• 在UMPMP数据集上，所提方法在p2_free_2序列上达到0.1992的3D重建误差，在p3_ball_1上为0.1348，在p4_meet_12上为0.0821；除p4_meet_12外所有序列的运动分割误差均为零（eMS = 0.0），p4_meet_12的eMS为0.0135。
• 在合成人脸序列上，该方法在CD约束下实现了0.0380的3D重建误差，优于基线方法，在准确性和鲁棒性方面表现更优。
• 在UMPMP数据集的五个序列中，有四个序列实现了完美的运动分割（eMS = 0.0），表明其具备强大的聚类能力。
• 在Face+Heart序列上的可视化结果展示了准确的分割效果，各物体使用不同颜色标签清晰标注，证实了非刚性特征轨迹的正确分组。
• 如图13所示，所提方法得到的亲和矩阵比SSC更准确地捕捉了真实物体关系，表现出更清晰的块状结构，表明分割结果更可靠。
• 该方法通过在3D空间中联合优化重建与分割任务，优于两阶段基线方法——无论是先聚类2D轨迹再重建，还是先用单子空间重建再聚类——均取得了更优性能。