[论文解读] Voxel-Based Indoor Reconstruction From HoloLens Triangle Meshes

Patrick Hübner, Martin Weinmann+1 more|Repository KITopen (Karlsruhe Institute of Technology)|Jan 1, 2020

3D Surveying and Cultural Heritage参考文献 15被引用 5

一句话总结

本文提出一种基于体素的方法，用于从稀疏、非结构化的HoloLens三角网格重建室内环境，且不假设曼哈顿世界或平面表面。通过从天花板到地板的体素延伸检测房间，使用基于规则的扫描分配语义标签，并对墙体几何进行精细化处理，从而实现从嘈杂的真实世界数据中鲁棒地重建。

ABSTRACT

Current mobile augmented reality devices are often equipped with range sensors. The Microsoft HoloLens for instance is equipped with a Time-Of-Flight (ToF) range camera providing coarse triangle meshes that can be used in custom applications. We suggest to use the triangle meshes for the automatic generation of indoor models that can serve as basis for augmenting their physical counterpart with location-dependent information. In this paper, we present a novel voxel-based approach for automated indoor reconstruction from unstructured three-dimensional geometries like triangle meshes. After an initial voxelization of the input data, rooms are detected in the resulting voxel grid by segmenting connected voxel components of ceiling candidates and extruding them downwards to find floor candidates. Semantic class labels like 'Wall', 'Wall Opening', 'Interior Object' and 'Empty Interior' are then assigned to the room voxels in-between ceiling and floor by a rule-based voxel sweep algorithm. Finally, the geometry of the detected walls and their openings is refined in voxel representation. The proposed approach is not restricted to Manhattan World scenarios and does not rely on room surfaces being planar.

研究动机与目标

• 实现从移动AR设备（如Microsoft HoloLens）生成的稀疏、噪声三角网格自动重建室内环境。
• 解决从非结构化、非密集的3D几何结构（如HoloLens网格）重建室内环境的方法缺失问题。
• 开发一种不依赖曼哈顿世界假设或平面房间表面的基于体素的方法。
• 以基于规则的方式为重建体素分配语义标签（例如：墙、开口、内部物体）。
• 在体素空间中对墙体几何进行精炼，以提高精度并增强与下游应用（如BIM或AR）的兼容性。

提出的方法

• 对HoloLens三角网格进行初始体素化，以创建体积分割表示。
• 通过在法线方向接近水平的体素上进行连通区域分析，检测天花板候选区域。
• 将天花板区域向下延伸，以识别地板候选区域，从而形成房间体积候选。
• 使用基于规则的体素扫描算法对中间体素进行语义标注，将体素分类为墙、墙开口、内部物体或空内部。
• 通过基于体素的形态学操作对检测到的墙体进行几何精炼，以减少厚度并改善对齐。
• 利用轨迹和光线追踪启发式方法，区分真实墙体开口与由家具或传感器噪声造成的遮挡。

Figure 1: Processing workflow from input mesh to final reconstructed voxel model. The colour scheme of the normal classification is described in Table 1 . The other depictions are coloured according to Table 1 . A part of the ceiling is removed for visibility.

实验结果

研究问题

• RQ1 能否在不假设平面表面或曼哈顿世界几何结构的前提下，从HoloLens生成的稀疏、非结构化三角网格中重建室内环境？
• RQ2 如何通过基于规则的逻辑可靠地为重建房间内的体素分配语义标签？
• RQ3 在体素空间中，墙体几何可被多大程度地精炼，以减少高估并提高与物理结构的对齐？
• RQ4 该方法在区分真实墙体开口与由家具或传感器限制导致的遮挡方面效果如何？
• RQ5 重建的体素模型能否支持拓扑推理（如房间邻接性和可达性）？

主要发现

• 该方法成功实现了从稀疏、噪声的HoloLens三角网格重建室内环境，且无需依赖平面表面或曼哈顿世界假设。
• 通过从天花板到地板的体素延伸实现的房间检测，在杂乱、非理想室内场景中仍能实现一致的分割。
• 基于规则的扫描实现的语义标注能正确识别墙体、开口和内部物体，但部分误报由遮挡引起。
• 墙体精炼有效减少了体素厚度，但天花板和地板板厚的系统性低估问题依然存在，表明高度估计仍需改进。
• 在楼梯间等复杂区域，由于天花板表面碎片化，出现过度分割现象，提示需要基于墙体连续性的后处理合并。
• 该方法在AR集成方面展现出潜力，但在无人工标记的情况下，仍面临在大规模重建模型中精确定位移动AR设备的挑战。

(a) Ground truth for the axes-aligned data-set.