[论文解读] Better Together: Joint Reasoning for Non-rigid 3D Reconstruction with Specularities and Shading

Qi Liu-Yin, Rui Yu+3 more|arXiv (Cornell University)|Aug 4, 2017

Advanced Vision and Imaging参考文献 2被引用 7

一句话总结

该论文提出了一套统一框架，通过单目RGB视频联合优化非刚性三维重建、形状从光照（SfS）以及镜面反射建模，显著提升了传统流水线方法在重建精度和鲁棒性方面的表现。通过将漫反射光照、镜面高光和反照率整合到单一优化过程中，该方法在真实和合成序列上实现了最先进性能，尤其在复杂光照条件和动态形变下表现优异。

ABSTRACT

We demonstrate the use of shape-from-shading (SfS) to improve both the quality and the robustness of 3D reconstruction of dynamic objects captured by a single camera. Unlike previous approaches that made use of SfS as a post-processing step, we offer a principled integrated approach that solves dynamic object tracking and reconstruction and SfS as a single unified cost function. Moving beyond Lambertian S f S , we propose a general approach that models both specularities and shading while simultaneously tracking and reconstructing general dynamic objects. Solving these problems jointly prevents the kinds of tracking failures which can not be recovered from by pipeline approaches. We show state-of-the-art results both qualitatively and quantitatively.

研究动机与目标

• 解决将形状从光照（SfS）作为后处理步骤的流水线方法的局限性，这些方法在动态、非朗伯表面场景中常因跟踪漂移而失效。
• 在真实光照条件下提升单目非刚性三维重建的鲁棒性与质量，此时光照变化和镜面高光会严重破坏基于颜色的跟踪。
• 在统一优化框架中同时建模漫反射光照与镜面反射，以更好地捕捉面部表情等精细语义细节。
• 证明联合推理可防止传统方法在物体运动改变表面外观（由于光照变化）时常见的系统性跟踪失败。
• 通过将光照建模为形状、反照率和光照参数的函数，实现在无深度或多相机数据情况下的可靠RGB输入重建。

提出的方法

• 提出一种统一的代价函数，基于分解方法联合优化非刚性结构从运动（SfM）、形状从光照（SfS）和镜面反射建模。
• 将图像亮度分解为反照率、漫反射光照（通过球谐函数建模）和镜面成分，以实现对非朗伯表面（如人类皮肤）的精确建模。
• 集成一个光度项，用于建模反照率与光照的乘积，同时引入一个镜面项，基于表面法线和光照方向来描述高光形成过程。
• 使用总变差（total variation）和ARAP（As-Rigid-As-Possible）正则化，以在重建的三维形状中强制实现空间平滑性和时间一致性。
• 在有深度图可用时（如RGB-D序列）引入额外约束，使用数据保真项将重建结果与噪声深度掩码对齐。
• 采用交替优化方案，联合优化姿态、三维形状、反照率和光照参数，以提升收敛性与鲁棒性。

实验结果

研究问题

• RQ1 与顺序或后处理SfS方法相比，联合优化非刚性SfM、SfS和镜面反射建模是否能显著提升重建质量与跟踪鲁棒性？
• RQ2 同时建模漫反射光照与镜面高光在多大程度上提升了对动态非朗伯表面（如面部表情）等精细语义细节的恢复能力？
• RQ3 该统一框架在光照变化和复杂表面反射特性的真实序列中，能在多大程度上减少跟踪漂移？
• RQ4 该方法是否能在无深度或多相机数据依赖的情况下，仅通过RGB输入实现高保真重建，尤其在挑战性光照条件下？
• RQ5 该方法对初始模板或深度图中的噪声敏感程度如何？联合优化是否能在此类扰动下提升稳定性？

主要发现

• 在使用双目系统捕获的真实序列上，该方法在联合优化下实现了最先进定量结果，平均重建误差为3.0626（σ=0），而未使用联合优化时为3.1080。
• 在存在严重阴影伪影的合成序列中，该方法成功追踪并重建了先前方法（如Valgaerts et al., 2012）无法处理的强光照变化下的物体。
• 统一框架中引入镜面建模显著提升了重建精度，合成与真实数据评估中均显示出更低的RMS误差。
• 即使在噪声模板（σ=0.01）下，联合优化框架仍保持稳定性能（RMS误差为3.5477），证明了对初始化不确定性的鲁棒性。
• 当提供深度数据时，方法性能显著提升——例如，联合优化下RMS误差从RGB-only的3.5791降低至3.5477，证实多模态线索的附加价值。
• 在Zollhofer et al. (2014)的RGB-D人脸序列上，定性结果表明，即使在深度数据噪声较大或不可用时，该方法仍能生成比基线方法更精确、更细致的重建结果。