[论文解读] DENSER Cities: A System for Dense Efficient Reconstructions of Cities

Michael Tanner, Pedro Piniés+2 more|arXiv (Cornell University)|Apr 13, 2016

Advanced Vision and Imaging参考文献 24被引用 3

一句话总结

本文提出 DENSER Cities，一种利用双目摄像头和正则化哈希体素网格（HVG）实现实时、密集且高精度的城市级三维重建的系统。通过在压缩的体积数据上应用各向异性扩散正则化，该方法在 KITTI 数据集序列的 3.4 公里范围内将中位数重建误差降低了 40%（降至 6 厘米），实现了高保真度模型，伪影极少，并具备接近实时的性能。

ABSTRACT

This paper is about the efficient generation of dense, colored models of city-scale environments from range data and in particular, stereo cameras. Better maps make for better understanding; better understanding leads to better robots, but this comes at a cost. The computational and memory requirements of large dense models can be prohibitive. We provide the theory and the system needed to create city-scale dense reconstructions. To do so, we apply a regularizer over a compressed 3D data structure while dealing with the complex boundary conditions this induces during the data-fusion stage. We show that only with these considerations can we swiftly create neat, large, "well behaved" reconstructions. We evaluate our system using the KITTI dataset and provide statistics for the metric errors in all surfaces created compared to those measured with 3D laser. Our regularizer reduces the median error by 40% in 3.4 km of dense reconstructions with a median accuracy of 6 cm. For subjective analysis, we provide a qualitative review of 6.1 km of our dense reconstructions in an attached video. These are the largest dense reconstructions from a single passive camera we are aware of in the literature.

研究动机与目标

• 利用被动双目视觉实现可扩展、密集且高精度的城市级环境三维重建。
• 克服大规模城市场景中密集三维重建的计算与内存限制。
• 开发一种在压缩的、边界丰富的三维数据结构（如哈希体素网格，HVG）中有效工作的正则化方法。
• 减少由尖锐不连续性和光照变化引起的深度图中的噪声和虚假表面。
• 在保持高几何精度的同时实现近实时性能，适用于自动驾驶等应用。

提出的方法

• 系统使用双目摄像头，通过受变分光流启发的二阶正则化能量项生成每像素的深度图，实现亚像素精度和分段平面型深度图。
• 采用鲁棒的三元分类签名（TCS）保真度项，以应对深度估计过程中光照条件的变化。
• 应用各向异性扩散张量进行正则化，通过惩罚垂直于物体边缘的梯度来保留深度不连续性，同时允许沿边缘保持平滑。
• 系统采用哈希体素网格（HVG）压缩三维体积数据，实现在有限 GPU 内存下的大规模重建。
• 重新定义梯度和散度算子，以处理 HVG 结构引入的边界条件，确保正则化准确无虚假外推。
• 数据融合以增量方式执行，正则化在融合阶段应用，以抑制噪声和虚假表面。

实验结果

研究问题

• RQ1 仅使用双目摄像头，是否能够实现高精度和可扩展性的密集实时三维重建系统，用于城市级环境？
• RQ2 尽管存在复杂的边界条件，如何在压缩的三维数据结构（如哈希体素网格）中有效应用正则化？
• RQ3 各向异性扩散在保留不连续性的同时减少噪声，能在多大程度上提升深度图质量？
• RQ4 正则化对减少大规模重建中的虚假表面并提高几何精度有何影响？
• RQ5 系统是否能在保持亚 10 厘米中位数重建误差的同时，实现接近实时的性能？

主要发现

• 正则化将 3.4 公里 KITTI 数据集序列的中位数重建误差降低了 40%，从 10 厘米降至 6 厘米。
• 第 75 百分位数误差降低了 36%，从 36 厘米降至 23 厘米，表明在处理异常值和噪声方面有显著改善。
• 表面面积减少了 32%，从 55,008 平方米降至 37,336 平方米，表明对虚假或伪影表面的有效抑制。
• HVG 结构使系统在 6 GiB GPU 内存下实现了 1.6 公里的城市环境重建，而传统体素网格仅能重建 205 米。
• 系统实现了接近实时的数据融合性能，在 GeForce GTX TITAN 上以 10 厘米体素分辨率在 10 分钟内处理完 3.4 公里的数据。
• 视觉检查确认了高质量、视觉一致的重建结果，伪影极少，但低纹理或光照剧烈变化区域仍存在孔洞。