[논문 리뷰] Voxel-Based Indoor Reconstruction From HoloLens Triangle Meshes

Patrick Hübner, Martin Weinmann외 1명|Repository KITopen (Karlsruhe Institute of Technology)|2020. 01. 01.

3D Surveying and Cultural Heritage참고 문헌 15인용 수 5

한 줄 요약

이 논문은 맨하탄 월드 또는 평면 표면을 가정하지 않고, 흐린, 비정규적인 HoloLens 삼각형 메esh에서 실내 환경을 복원하기 위한 바이오닉 기반 방법을 제시한다. 천장에서 바닥으로의 바이오닉 외삽을 통해 방을 탐지하고, 규칙 기반 스위프를 사용해 의미적 레이블을 할당하며, 벽 기하학을 정밀하게 다듬어 노이즈가 많은 실제 데이터로부터 강건한 복원을 달성한다.

ABSTRACT

Current mobile augmented reality devices are often equipped with range sensors. The Microsoft HoloLens for instance is equipped with a Time-Of-Flight (ToF) range camera providing coarse triangle meshes that can be used in custom applications. We suggest to use the triangle meshes for the automatic generation of indoor models that can serve as basis for augmenting their physical counterpart with location-dependent information. In this paper, we present a novel voxel-based approach for automated indoor reconstruction from unstructured three-dimensional geometries like triangle meshes. After an initial voxelization of the input data, rooms are detected in the resulting voxel grid by segmenting connected voxel components of ceiling candidates and extruding them downwards to find floor candidates. Semantic class labels like 'Wall', 'Wall Opening', 'Interior Object' and 'Empty Interior' are then assigned to the room voxels in-between ceiling and floor by a rule-based voxel sweep algorithm. Finally, the geometry of the detected walls and their openings is refined in voxel representation. The proposed approach is not restricted to Manhattan World scenarios and does not rely on room surfaces being planar.

연구 동기 및 목표

• 모바일 AR 기기(예: Microsoft HoloLens)에서 생성된 흐린, 노이즈가 많은 삼각형 메쉬로부터 자동으로 실내 복원을 가능하게 하기 위해.
• HoloLens 메쉬와 같은 비정규적이고 밀도가 낮은 3D 기하학에서 실내 환경을 복원할 수 있는 방법의 부족을 해결하기 위해.
• 맨하탄 월드 가정이나 평면적 실내 표면에 의존하지 않는 바이오닉 기반 접근법을 개발하기 위해.
• 규칙 기반 방식으로 복원된 바이오닉에 의미적 레이블(예: 벽, 개구부, 내부 물체)을 할당하기 위해.
• 정밀도 향상과 BIM 또는 AR과 같은 후속 응용 프로그램과의 호환성을 위해 바이오닉 공간에서 벽 기하학을 정밀 조정하기 위해.

제안 방법

• HoloLens 삼각형 메쉬의 초기 바이오닉화를 통해 체적 그리드 표현을 생성하기 위해.
• 근수평 정규 방향을 가진 바이오닉에 대해 연결 성분 분석을 수행하여 천장 후보를 탐지하기 위해.
• 천장 성분을 아래로 외삽하여 바닥 후보를 식별하고, 방 복원 후보를 형성하기 위해.
• 바이오닉 간의 바이오닉 스위프 알고리즘을 사용한 규칙 기반 의미적 레이블링을 통해 바이오닉을 벽, 벽 개구부, 내부 물체 또는 빈 내부로 분류하기 위해.
• 두께 감소 및 정렬 개선을 위해 바이오닉 기반의 형태학적 연산을 통해 탐지된 벽을 기하학적으로 정밀 조정하기 위해.
• 궤적 및 레이 트레이싱 히우리스틱을 사용해 가구나 센서 노이즈로 인한 가림 현상과 진짜 벽 개구부를 구분하기 위해.

Figure 1: Processing workflow from input mesh to final reconstructed voxel model. The colour scheme of the normal classification is described in Table 1 . The other depictions are coloured according to Table 1 . A part of the ceiling is removed for visibility.

실험 결과

연구 질문

• RQ1 맨하탄 월드 기하학이나 평면 표면을 가정하지 않고, HoloLens에서 생성된 흐린, 비정규적인 삼각형 메쉬로부터 실내 환경을 복원할 수 있는가?
• RQ2 규칙 기반 논리로 복원된 방 내부 바이오닉에 의미적 레이블을 신뢰성 있게 할당할 수 있는가?
• RQ3 바이오닉 공간에서 벽 기하학을 얼마나 정밀하게 다듬을 수 있는가? 특히 과도한 추정을 줄이고 물리적 구조와의 정렬을 향상시킬 수 있는가?
• RQ4 이 방법은 가구나 센서 한계로 인한 가림 현상과 진짜 벽 개구부를 얼마나 효과적으로 구분하는가?
• RQ5 복원된 바이오닉 모델이 방 인접성 및 접근성과 같은 토폴로지 추론을 지원할 수 있는가?

주요 결과

• 이 방법은 평면 표면이나 맨하탄 월드 가정 없이도 흐린, 노이즈가 많은 HoloLens 삼각형 메쉬로부터 실내 환경을 성공적으로 복원한다.
• 천장에서 바닥으로의 바이오닉 외삽을 통한 방 탐지 방식은 혼잡하고 비표준적인 실내 환경에서도 일관된 세그먼테이션을 달성한다.
• 규칙 기반 스위프를 통한 의미적 레이블링은 벽, 개구부, 내부 물체를 정확히 식별하지만, 일부 가림 현상으로 인해 잘못된 양성 결과가 발생한다.
• 벽 정밀 조정은 바이오닉 두께를 감소시키지만, 천장과 바닥 슬래브 높이에 대한 체계적 과소 추정 문제가 여전히 존재하여 높이 추정 향상의 필요성을 시사한다.
• 계단과 같은 복잡한 영역에서는 천장 표면의 분할로 인해 방이 과다 세그먼테이션되는 현상이 발생하여, 벽의 연속성 기반 후처리 병합이 필요함을 시사한다.
• 이 접근법은 AR 통합 잠재력을 보여주지만, 인공 마커 없이 대규모 복원 모델 내에서 모바일 AR 기기를 정확히 국지화하는 데 도전 과제가 남아 있다.

(a) Ground truth for the axes-aligned data-set.