[논문 리뷰] An Efficient Volumetric Mesh Representation for Real-time Scene Reconstruction using Spatial Hashing

Wei Dong, Jieqi Shi외 3명|arXiv (Cornell University)|2018. 03. 11.

Robotics and Sensor-Based Localization참고 문헌 13인용 수 5

한 줄 요약

이 논문은 공간 해싱 기반의 부피 메쉬 표현 방식을 제안하여 메모리 사용을 최소화하고 O(1) 정점 접근을 통해 효율적이고 실시간으로 장면 재구성을 가능하게 한다. 정점을 벽체 상의 박스에 매핑하고 해밍 거리 기반의 저비용 메쉬 정밀 조정을 통해, 실시간 성능를 유지하면서도 메모리 소비를 최대 80%까지 줄였다. 이로 인해 삼각형의 형태 일관성이 향상되었다.

ABSTRACT

Mesh plays an indispensable role in dense real-time reconstruction essential in robotics. Efforts have been made to maintain flexible data structures for 3D data fusion, yet an efficient incremental framework specifically designed for online mesh storage and manipulation is missing. We propose a novel framework to compactly generate, update, and refine mesh for scene reconstruction upon a volumetric representation. Maintaining a spatial-hashed field of cubes, we distribute vertices with continuous value on discrete edges that support O(1) vertex accessing and forbid memory redundancy. By introducing Hamming distance in mesh refinement, we further improve the mesh quality regarding the triangle type consistency with a low cost. Lock-based and lock-free operations were applied to avoid thread conflicts in GPU parallel computation. Experiments demonstrate that the mesh memory consumption is significantly reduced while the running speed is kept in the online reconstruction process.

연구 동기 및 목표

• 온라인 부피 장면 재구성에 적합한 효율적인 점진적 메쉬 저장 및 처리 프레임워크의 부족을 해결한다.
• 1:1 박스 모서리-정점 매핑을 통한 정점 중복 제거로 메쉬 표현의 메모리 중복을 줄인다.
• 락 없는 연산을 사용한 GPU 가속 공간 해싱을 통해 실시간으로 병렬 메쉬 생성 및 업데이트를 가능하게 한다.
• 해밍 거리 기반의 저비용 정밀 조정 기법을 도입하여 삼각형 형태의 일관성을 향상시켜 메쉬 품질을 개선한다.
• 기존의 TSDF 기반 부피 융합 기법과 원활하게 통합되어 종단 간 재구성가능한 메쉬 파이프라인을 제공한다.

제안 방법

• 메쉬 정점을 박스 모서리에 직접 저장하고, 공간 해싱된 3D 격자(박스)를 사용해 정점 인덱스를 관리함으로써 1:1 대응을 보장하고 정점 중복을 제거한다.
• 공간 해싱을 통한 O(1) 정점 접근을 구현하여 점진적 재구성 중 빠른 검색 및 업데이트를 가능하게 한다.
• 병렬 메쉬 생성 및 업데이트 과정에서 스레드 간 충돌을 방지하기 위해 GPU 커널에서 락 없는 및 락 기반 연산을 구현한다.
• 해밍 거리를 활용해 국소 삼각형 구조를 정규화하는 메쉬 정밀 조정 알고리즘을 도입하여 비정상적인 형태와 메쉬의 '균열'을 감소시킨다.
• 정점의 수명 주기를 메모리에서 추적하여 정점의 시간적 일관성을 유지하며, 이를 색상 지속 시간 맵으로 시각화한다.
• 기존의 TSDF 기반 부피 융합 기법과 메쉬 파이프라인을 통합하여 온라인 메쉬 추출 및 쓰레기 수거를 가능하게 한다.

실험 결과

연구 질문

• RQ1 최소한의 메모리 중복을 가진 압축형 점진적 메쉬 표현 방식을 설계하여 실시간 재구성 성능를 확보할 수 있는가?
• RQ2 공간 해싱이 메쉬 생성 과정에서 효율적인 GPU 병렬 처리를 유지하면서도 O(1) 정점 접근을 가능하게 할 수 있는가?
• RQ3 해밍 거리 기반의 메쉬 정밀 조정이 삼각형 형태 일관성과 시각적 품질에 미치는 영향은 어떠한가?
• RQ4 기본 메쉬 생성 방식과 비교했을 때 제안된 방법의 메모리 사용량과 런타임 성능는 어떠한가?
• RQ5 노이즈가 많은 센서 데이터 하에서 메쉬 표현 방식이 시간적 일관성을 유지하고 안정적인 온라인 재구성에 기여할 수 있는가?

주요 결과

• 제안된 방법은 기존 기준 대비 메쉬 메모리 소비를 최대 80%까지 줄였으며, 실제 시퀀스에서 정점 수가 약 580K에서 약 100K로 감소하였다.
• 3cm 해상도에서 Zhou/copyroom 데이터셋 기준으로 프레임당 메시징 평균 시간은 제안 방법(Ours)이 3.71ms, 기준 방법(Baseline)이 4.85ms였다.
• 정밀 조정 단계는 시뮬레이션된(office1) 및 실제 환경(crewroom) 데이터셋 모두에서 '균열'과 비정상적인 삼각형 등의 시각적 잡음 요소를 크게 감소시켰다.
• 모든 데이터셋에서 평균 프레임 시간이 13ms 이내를 유지하여 고해상도 및 장시간 시퀀스에서도 실시간 성능를 확보하였다.
• 정점의 시간적 일관성이 효과적으로 시각화되었으며, 더 오래 유지되는 정점(더 따뜻한 색상)은 안정적이고 지속적인 표면 특징을 나타낸다.
• 프레임워크는 온라인 메쉬 추출 및 쓰레기 수거를 지원하여 부피 융합 파이프라인과 원활한 통합이 가능하다.