[論文レビュー] Voxel-Based Indoor Reconstruction From HoloLens Triangle Meshes

Patrick Hübner, Martin Weinmann+1 more|Repository KITopen (Karlsruhe Institute of Technology)|Jan 1, 2020

3D Surveying and Cultural Heritage参考文献 15被引用数 5

ひとこと要約

本稿では、マンハッタンワールドや平面的表面を仮定せずに、スパarsely、非構造的なHoloLensの三角形メッシュから屋内環境をボクセルベースで再構築する手法を提示する。部屋の検出は天井から床へのボクセルの押し出しによって行われ、ルールベースのスイープを用いてセマンティックラベルを割り当て、壁の幾何形状を精錬することで、ノイズの多い実世界データからも頑健な再構築を実現する。

ABSTRACT

Current mobile augmented reality devices are often equipped with range sensors. The Microsoft HoloLens for instance is equipped with a Time-Of-Flight (ToF) range camera providing coarse triangle meshes that can be used in custom applications. We suggest to use the triangle meshes for the automatic generation of indoor models that can serve as basis for augmenting their physical counterpart with location-dependent information. In this paper, we present a novel voxel-based approach for automated indoor reconstruction from unstructured three-dimensional geometries like triangle meshes. After an initial voxelization of the input data, rooms are detected in the resulting voxel grid by segmenting connected voxel components of ceiling candidates and extruding them downwards to find floor candidates. Semantic class labels like 'Wall', 'Wall Opening', 'Interior Object' and 'Empty Interior' are then assigned to the room voxels in-between ceiling and floor by a rule-based voxel sweep algorithm. Finally, the geometry of the detected walls and their openings is refined in voxel representation. The proposed approach is not restricted to Manhattan World scenarios and does not rely on room surfaces being planar.

研究の動機と目的

• モバイルARデバイス（例：Microsoft HoloLens）が生成するスパarsely、ノイズの多い三角形メッシュから、自動的に屋内再構築を可能にすること。
• HoloLensメッシュのような非構造的・非密度な3次元幾何形状からの屋内環境再構築のための手法が不足しているという問題に対処すること。
• マンハッタンワールド仮定や平面的部屋表面に依存しないボクセルベースのアプローチを開発すること。
• ルールベースの方法で再構築されたボクセルにセマンティックラベル（例：壁、開口部、内部オブジェクト）を割り当てること。
• ボクセル空間における壁の幾何形状を精錬することで、BIMやARなどの後続アプリケーションとの整合性と精度を向上させること。

提案手法

• HoloLensの三角形メッシュを初期ボクセライゼーションすることで、ボリュメトリックグリッド表現を生成する。
• 近似水平な法線方向を持つボクセルに対して連結成分解析を実施し、天井候補を検出する。
• 天井成分を下方に押し出し、床候補を同定することで、部屋ボリューム候補を形成する。
• ルールベースのボクセルスイープアルゴリズムを用いて、間のボクセルにセマンティックラベルを割り当てる。ラベルは「壁」「壁の開口部」「内部オブジェクト」「空の内部」と分類される。
• ボクセルベースのモルフォロジカル操作を用いて、検出された壁の幾何形状を精錬し、厚さを低減し、物理的構造と整合性を高める。
• トラジェクトリとレイマーチングのヒューリスティクスを用いて、家具やセンサーノイズによるオクルージョンと、実際の壁の開口部を区別する。

Figure 1: Processing workflow from input mesh to final reconstructed voxel model. The colour scheme of the normal classification is described in Table 1 . The other depictions are coloured according to Table 1 . A part of the ceiling is removed for visibility.

実験結果

リサーチクエスチョン

• RQ1 マンハッタンワールド幾何や平面的表面を仮定せずに、HoloLensが生成するスパarsely、非構造的な三角形メッシュから屋内環境を再構築できるか？
• RQ2 ルールベースの論理を用いて、再構築された部屋内のボクセルに信頼性のあるセマンティックラベルを割り当てられるか？
• RQ3 ボクセル空間における壁の幾何形状をどの程度精錬することで、過剰推定の低減と物理的構造との整合性の向上が達成できるか？
• RQ4 本手法は、家具やセンサ制限によるオクルージョンと、実際の壁の開口部をどの程度効果的に区別できるか？
• RQ5 再構築されたボクセルモデルは、部屋の隣接関係や到達可能性といったトポロジカル推論をサポートできるか？

主な発見

• 本手法は、平面的表面やマンハッタンワールド仮定を必要とせず、ノイズの多いHoloLensの三角形メッシュから屋内環境を成功裏に再構築した。
• 天井から床へのボクセル押し出しによる部屋検出は、ごみが多く非理想的な屋内シーンでも一貫したセグメンテーションを達成した。
• ルールベースのスイープによるセマンティックラベリングは、壁、開口部、内部オブジェクトを正しく同定したが、オクルージョンの影響で誤検出が一部発生した。
• 壁の精錬によりボクセルの厚さが低減したが、天井および床スラブの高さの系統的過小評価が継続しており、高さ推定の改善が求められる。
• 階段のような複雑な領域では、天井表面が断片化しているため、部屋の過剰セグメンテーションが発生した。これは、壁の連続性に基づく後処理によるマージの必要性を示唆している。
• AR統合への応用可能性は示されたが、人工マーカーなしに大規模な再構築モデル内でのモバイルARデバイスの局所化には課題が残っている。

(a) Ground truth for the axes-aligned data-set.