[论文解读] 3D Reconstruction of Deformable Revolving Object under Heavy Hand Interaction

Raoul de Charette, Sotiris Manitsaris|arXiv (Cornell University)|Aug 5, 2019

Optical measurement and interference techniques参考文献 30被引用 4

一句话总结

本文提出了一种针对在重度手部交互下发生形变的径向对称物体（如陶艺中的黏土）的三维重建的粒子能量优化方法。利用一个或多个深度传感器，该方法通过利用径向对称性和时间一致性，在存在遮挡和形变的情况下仍能实现鲁棒的重建，达到最先进的7.60毫米平均重建误差。

ABSTRACT

We reconstruct 3D deformable object through time, in the context of a live pottery making process where the crafter molds the object. Because the object suffers from heavy hand interaction, and is being deformed, classical techniques cannot be applied. We use particle energy optimization to estimate the object profile and benefit of the object radial symmetry to increase the robustness of the reconstruction to both occlusion and noise. Our method works with an unconstrained scalable setup with one or more depth sensors. We evaluate on our database (released upon publication) on a per-frame and temporal basis and shows it significantly outperforms state-of-the-art achieving 7.60mm average object reconstruction error. Further ablation studies demonstrate the effectiveness of our method.

研究动机与目标

• 解决在陶艺制作等交互操作中，对未知、可变形、径向对称物体进行三维重建的挑战。
• 克服现有方法依赖已知模板、刚性假设或纹理先验的局限性，这些方法在严重遮挡和形变下会失效。
• 在无需物体形状或纹理先验知识的前提下，实现在非约束性、可扩展的单个或多个深度传感器设置下的鲁棒重建。
• 在手部遮挡严重和建模过程中形状动态演变的情况下，仍能保证高精度。
• 通过利用径向对称性并结合基于粒子的优化，确保方法在时间上的一致性，并对噪声和传感器差异具有鲁棒性。

提出的方法

• 利用物体的径向对称性，将三维点云映射到二维极坐标（ρ, h）空间，从而将问题简化为轮廓估计。
• 在极坐标域中应用粒子能量优化，通过最小化几何与基于外观的能量项组合来估计物体的三维轮廓。
• 使用径向累加器对极坐标空间进行离散化，分辨率通过平衡精度与计算成本进行调节。
• 通过点云配准和融合，将多个深度传感器的数据整合为统一的输入，供重建流程使用。
• 通过时间滤波和粒子重采样（权重为0.8）提升帧间稳定性，减少抖动。
• 利用物体的径向对称性，增强对部分遮挡和噪声的鲁棒性，尤其在手部遮挡物体部分区域时表现更优。

实验结果

研究问题

• RQ1 在不依赖物体形状或纹理模型的前提下，能否在重度手部交互下实现对未知、可变形、旋转物体的三维重建？
• RQ2 在动态、交互式场景中，径向对称性如何提升在部分遮挡和传感器噪声下的重建鲁棒性？
• RQ3 传感器数量和粒子数量对重建精度与计算效率有何影响？
• RQ4 径向累加器的分辨率如何影响重建精度和处理时间？
• RQ5 可扩展的、非约束性的深度传感器设置是否能在实时交互应用中实现亚厘米级的重建精度？

主要发现

• 所提方法实现了7.60毫米的平均重建误差，显著优于现有最先进方法，后者在类似条件下误差均高于10毫米。
• 使用两个深度传感器相比仅使用最佳单个传感器，平均误差降低17.20%（8.09毫米 vs. 9.77毫米），证明了传感器融合的优势。
• 当粒子数量从100增加到1000时，精度提升19.74%；但粒子数超过1000后增益趋于平缓（5000个粒子时仅提升4.60%）。
• 更高的径向累加器分辨率（64×64）相比16×16可将平均误差降低11.39%（8.43毫米 vs. 9.39毫米），尽管处理时间增加5.35倍。
• 该方法对传感器缺失和部分遮挡具有鲁棒性，在仅使用一个传感器或高噪声水平下仍能保持亚10毫米误差。
• 尽管性能有所提升，但在某些极端遮挡情况下最大误差（HD）仍超过20毫米，表明在完全遮挡下仍存在局限性，提示需引入时空先验以实现完整遮挡下的处理。