[论文解读] CurveFusion: Reconstructing Thin Structures from RGBD Sequences

Lingjie Liu, Nenglun Chen+4 more|arXiv (Cornell University)|Jul 12, 2021

Robotics and Sensor-Based Localization参考文献 48被引用 14

一句话总结

CurveFusion 是一种新颖的方法，用于从手持式 RGBD 序列中高保真度重建细丝状结构，使用数据驱动的曲线骨架作为融合基元。通过将对齐的深度帧分组为束，从每束中提取 L1 轴，并迭代合并骨架段，该方法在传统体素融合因细结构中的噪声和数据缺失而失效时，仍能实现交互式速率的重建。

ABSTRACT

We introduce CurveFusion, the first approach for high quality scanning of thin structures at interactive rates using a handheld RGBD camera. Thin filament-like structures are mathematically just 1D curves embedded in R^3, and integration-based reconstruction works best when depth sequences (from the thin structure parts) are fused using the object's (unknown) curve skeleton. Thus, using the complementary but noisy color and depth channels, CurveFusion first automatically identifies point samples on potential thin structures and groups them into bundles, each being a group of a fixed number of aligned consecutive frames. Then, the algorithm extracts per-bundle skeleton curves using L1 axes, and aligns and iteratively merges the L1 segments from all the bundles to form the final complete curve skeleton. Thus, unlike previous methods, reconstruction happens via integration along a data-dependent fusion primitive, i.e., the extracted curve skeleton. We extensively evaluate CurveFusion on a range of challenging examples, different scanner and calibration settings, and present high fidelity thin structure reconstructions previously just not possible from raw RGBD sequences.

研究动机与目标

• 解决从噪声大、分辨率低的 RGBD 扫描中重建细丝状结构（如导线、纱线）的挑战，这些结构在标准体素融合方法中难以准确捕捉。
• 开发一种重建流程，利用深度和 RGB 数据并非用于直接表面重建，而是用于可靠地提取和验证骨架。
• 用数据依赖的融合基元（如曲线骨架）替代固定的融合基元（如体素网格），以更好地编码细结构的连通性和几何特性。
• 实现在以往基于消费级 RGBD 相机和现有融合技术无法实现的复杂细结构的交互式速率重建。

提出的方法

• 该方法将 RGBD 序列划分为固定长度的连续帧束，以提高对噪声和漂移的鲁棒性。
• 对于每个束，结合深度和 RGB 信息识别并分割出可能属于细结构的点，形成一个合并的‘束差集’点集。
• 为每个束的点集计算 L1 轴（L1 中位线），以提取局部骨架段，从而降低对异常值的敏感性。
• 通过全局优化框架对齐并迭代合并所有束的骨架段，形成完整且连续的曲线骨架。
• 最终通过沿提取的骨架融合深度数据生成重建结果，使用骨架作为数据依赖的融合基元，而非固定的体素网格。
• RGB 信息仅用于初始验证和分割，不用于深度上采样或表面提升。

实验结果

研究问题

• RQ1 数据依赖的融合基元（如曲线骨架）是否能在从噪声 RGBD 序列中重建细结构方面优于固定的基元（如体素网格）？
• RQ2 如何有效将 L1 轴计算应用于来自细结构的噪声大、不完整的深度点集，以提取稳定的骨架段？
• RQ3 将连续帧分组是否能提高在传感器噪声和相机漂移存在下的骨架提取鲁棒性？
• RQ4 RGB 信息在不依赖深度上采样或基于图像的表面提升的前提下，能在多大程度上支持细结构的检测？
• RQ5 所提出的方法是否能实现高质量、交互式速率的复杂细结构重建，而传统体素融合方法则会失败？

主要发现

• CurveFusion 能够成功重建直径小至 4 mm 的细结构，即使在 KinectFusion 和 BundleFusion 等标准方法完全遗漏或失真此类特征的情况下，仍能保持高保真度。
• 该方法将复杂场景的重建时间缩短至 200 秒以内，部分示例在 60 秒内完成，实现了交互式速率性能。
• 重建导线的估计厚度与真实值高度一致，测试案例中厚度范围在 4.5 mm 至 5.8 mm 之间，表现出强一致性。
• 采用束处理和 L1 轴提取的方法显著提升了骨架的稳定性和完整性，相比单独处理帧或对整个序列使用全局 L1 轴的方法更具优势。
• 在具有细长、弯曲或高阶连接结构的挑战性场景中，该方法优于基线方法，而传统体素融合因缺乏连通性和噪声问题而失效。
• 局限性包括对直径小于约 2 mm 的结构失效，以及高阶连接点处合并不完善，表明在分割和半径估计方面仍有改进空间。