[논문 리뷰] A Framework for the Volumetric Integration of Depth Images

Victor Adrian Prisacariu, Olaf Kähler외 6명|arXiv (Cornell University)|2014. 10. 03.

Robotics and Sensor-Based Localization참고 문헌 10인용 수 27

한 줄 요약

이 논문은 깊이 영상 기반 볼륨형 3D 재구성용으로 유연하고 이식 가능한 프레임워크인 InfiniTAM을 제안한다. 이는 희게된 부호 거리 함수(TSDF) 볼륨에 RGB-D 데이터를 효율적으로 통합할 수 있도록 한다. GPU 가속 추적, 메모리 효율성을 위한 벡셀 블록 해싱, 그리고 선택적 GPU-CPU 데이터 스위핑을 지원하여 대규모 장면의 확장 가능한 재구성과 함께 인터랙티브 성능 유지를 가능하게 한다.

ABSTRACT

Volumetric models have become a popular representation for 3D scenes in recent years. One of the breakthroughs leading to their popularity was KinectFusion, where the focus is on 3D reconstruction using RGB-D sensors. However, monocular SLAM has since also been tackled with very similar approaches. Representing the reconstruction volumetrically as a truncated signed distance function leads to most of the simplicity and efficiency that can be achieved with GPU implementations of these systems. However, this representation is also memory-intensive and limits the applicability to small scale reconstructions. Several avenues have been explored for overcoming this limitation. With the aim of summarizing them and providing for a fast and flexible 3D reconstruction pipeline, we propose a new, unifying framework called InfiniTAM. The core idea is that individual steps like camera tracking, scene representation and integration of new data can easily be replaced and adapted to the needs of the user. Along with the framework we also provide a set of components for scalable reconstruction: two implementations of camera trackers, based on RGB data and on depth data, two representations of the 3D volumetric data, a dense volume and one based on hashes of subblocks, and an optional module for swapping subblocks in and out of the typically limited GPU memory.

연구 동기 및 목표

• 다양한 재구성 파이프라인을 지원하는 통합적이고 확장 가능한 볼륨형 깊이 영상 통합 프레임워크를 개발하기 위해.
• 벡셀 블록 해싱과 같은 효율적인 데이터 구조 및 GPU-CPU 메모리 스위핑을 조합하여 확장 가능한 3D 재구성을 가능하게 하기 위해.
• RGB 및 깊이 기반 추적을 모두 지원하고 다양한 하드웨어 및 응용 요구사항에 맞게 조정 가능한 이식성 있고 모듈식 시스템을 제공하기 위해.
• 희소 데이터 구조와 효율적인 메모리 관리를 통해 볼륨형 재구성에서 메모리 오버헤드를 줄이고 실시간 성능를 유지하기 위해.
• 최소한의 종속성과 크로스플랫폼 구현을 제공하여 온라인 및 오프라인 재구성 워크플로우를 모두 지원하기 위해.

제안 방법

• 프레임워크는 상태가 상태 없는 처리 엔진(예: 추적, 통합, 레이캐스팅) 간에 전달되는 책임 체인 설계 패턴을 사용한다.
• 두 가지 추적 방법을 지원한다: RGB 영상을 사용하는 색상 기반 추적과 깊이 영상 기반 ICP 추적.
• 볼륨형 데이터는 밀도 있는 TSDF 볼륨 또는 벡셀 블록 해싱을 통해 표현되며, 이는 3D 볼륨의 희소 서브블록을 인덱싱하기 위한 해시 테이블을 사용한다.
• 벡셀 블록 해싱 기법은 고유한 해싱 함수를 사용하며, 서브블록의 동적 할당 및 검색을 지원하여 메모리 사용량을 줄인다.
• 선택적 스위핑 엔진은 GPU와 호스트 메모리 간의 데이터 전송을 관리하며, 고정된 최대 전송 수를 유지하여 인터랙티브 성능를 확보한다.
• 시스템은 모듈식 아키텍처로 구성되어 있어, 핵심 인fra를 재사용하면서도 추적기, 장면 표현 등 컴포넌트를 쉽게 교체할 수 있다.

실험 결과

연구 질문

• RQ1 3D 재구성에서 다양한 추적 및 볼륨 표현 전략을 지원하기 위해 어떻게 다용도적이고 모듈식 프레임워크를 설계할 수 있는가?
• RQ2 실시간 성능를 희생시키지 않고 볼륨형 재구성에서 효율적인 메모리 사용을 가능하게 하는 기법은 무엇인가?
• RQ3 GPU와 호스트 메모리 간에 데이터를 어떻게 효율적으로 스위핑하여 재구성 가능한 장면의 규모를 확장할 수 있는가?
• RQ4 3D 재구성 시스템에서 크로스플랫폼 배포와 확장성을 가능하게 하는 아키텍처 선택은 무엇인가?
• RQ5 통합 프레임워크가 최소한의 종속성으로 작동하면서도 소규모 및 대규모 3D 재구성 모두를 지원할 수 있는가?

주요 결과

• InfiniTAM은 밀도 있는 볼륨형 표현과 희소 표현 모두를 성공적으로 지원하여 다양한 장면 규모에서 효율적인 재구성을 가능하게 한다.
• 벡셀 블록 해싱 기법을 사용함으로써 특히 대규모 장면에서 밀도 있는 TSDF 볼륨에 비해 메모리 소비를 크게 줄였다.
• 스위핑 엔진은 GPU 메모리 제약에도 불구하고 대규모 장면 재구성을 가능하게 하기 위해 데이터를 호스트 메모리로 오프로드함으로써 확장 가능한 재구성을 실현하였다. 이는 인터랙티브 성능 유지에 기여했다.
• 프레임워크는 이식 가능하며, Linux, Mac OS, Windows에서 최소 외부 종속성으로 네이티브 컴파일이 가능하다.
• 모듈식 설계 덕분에 추적기 및 장면 표현 등 컴포넌트를 쉽게 교체할 수 있어 빠른 프로토타이핑과 연구 확장이 용이하다.
• 시스템은 OpenNI를 통한 실시간 입력과 이미지 파일에서의 오프라인 처리를 모두 지원하여 광범위한 적용 가능성을 입증하였다.