[논문 리뷰] SurfelWarp: Efficient Non-Volumetric Single View Dynamic Reconstruction

Wei Gao, Russ Tedrake|arXiv (Cornell University)|2019. 04. 30.

Robotics and Sensor-Based Localization참고 문헌 23인용 수 5

한 줄 요약

이 논문은 단일 깊이 카메라만을 사용하여 동적 장면 재구성을 위한 실시간 비볼륨메트릭 SLAM 시스템인 SurfelWarp를 제안한다. 이는 표면 요소 기반 기하 표현과 GPGPU 가속 그래픽스 파이프라인을 활용하여 볼륨메트릭 데이터 구조 없이 비정형 변형을 효율적으로 추정하고 깊이 관측치를 융합함으로써, 이전의 DynamicFusion과 같은 방법들에 비해 상당한 속도 향상과 토폴로지 변화 및 추적 실패에 대한 강건성을 달성한다.

ABSTRACT

We contribute a dense SLAM system that takes a live stream of depth images as input and reconstructs non-rigid deforming scenes in real time, without templates or prior models. In contrast to existing approaches, we do not maintain any volumetric data structures, such as truncated signed distance function (TSDF) fields or deformation fields, which are performance and memory intensive. Our system works with a flat point (surfel) based representation of geometry, which can be directly acquired from commodity depth sensors. Standard graphics pipelines and general purpose GPU (GPGPU) computing are leveraged for all central operations: i.e., nearest neighbor maintenance, non-rigid deformation field estimation and fusion of depth measurements. Our pipeline inherently avoids expensive volumetric operations such as marching cubes, volumetric fusion and dense deformation field update, leading to significantly improved performance. Furthermore, the explicit and flexible surfel based geometry representation enables efficient tackling of topology changes and tracking failures, which makes our reconstructions consistent with updated depth observations. Our system allows robots to maintain a scene description with non-rigidly deformed objects that potentially enables interactions with dynamic working environments.

연구 동기 및 목표

• 기본 모델이나 템플릿 없이 단일 깊이 카메라에서 비정형 변형하는 장면에 대해 실시간 밀도 높은 재구성을 가능하게 하기 위해.
• TSDF와 변형 필드에 의존하는 볼륨메트릭 SLAM 방법들인 DynamicFusion과 같은 기존 방법들이 겪는 성능 및 메모리 제약을 극복하기 위해.
• 명시적인 표면 요소 표현과 모델 재초기화를 통해 토폴로지 변화와 추적 실패에 대한 강건성을 향상시키기 위해.
• 모든 핵심 연산을 표준 그래픽스 파이프라인과 GPGPU 계산을 활용하여 효율적이고 확장 가능한 재구성을 달성하기 위해.

제안 방법

• 컴modity 깊이 센서로부터 직접 확보한 평면 표면 요소 배열을 사용하여 장면 기하를 표현함으로써 볼륨메트릭 표현을 회피한다.
• 가장 가까운 이웃 유지, 비정형 변형 필드 추정, 깊이 융합에 대해 GPGPU 가속 그래픽스 파이프라인을 사용한다.
• DynamicFusion와 유사한 에너지 항목을 갖는 비정형 트래커를 사용하지만, 볼륨메트릭 중간 단계 없이 표면 요소에 직접 작용한다.
• 오류가 발생한 표면 요소를 정리하고 추적 실패 및 토폴로지 변화 회복을 위한 모델 재초기화 메커니즘을 적용한다.
• 마arching 컷스, TSDF 융합, 밀도 높은 변형 필드 업데이트와 같은 고비용 볼륨메트릭 연산을 제거한다.
• 비정형 정렬에서 유도된 워프 필드를 사용하여 깊이 관측치를 표면 요소에 직접 융합함으로써 실시간 성능을 달성한다.

실험 결과

연구 질문

• RQ1 볼륨메트릭이 아닌 표면 요소 기반 접근이 기본 모델이나 템플릿 없이 실시간 동적 재구성을 달성할 수 있는가?
• RQ2 볼륨메트릭 데이터 구조를 제거함으로써 비정형 SLAM의 성능, 메모리 사용량, 강건성에 어떤 영향을 미치는가?
• RQ3 표면 요소 기반 기하 표현이 동적 재구성 중 토폴로지 변화와 추적 실패를 효과적으로 처리할 수 있는가?
• RQ4 표준 그래픽스 파이프라인과 GPGPU 계산을 통해 비정형 재구성의 핵심 SLAM 연산을 어느 정도 가속화할 수 있는가?

주요 결과

• 볼륨메트릭 연산의 제거로 인해 DynamicFusion 대비 상당한 속도 향상을 달성하였으며, 평균 프레임 처리 시간이 감소하였다.
• 압축 변형을 정확히 해소하고, 개방형에서 폐쇄형 토폴로지 변화 동안도 충실한 재구성을 유지하는 데 성공하였으며, 이는 DynamicFusion 및 VolumeDeform와는 대조적이다.
• 모델 재초기화 덕분에 추적 실패 및 빠른 또는 수평 방향의 운동 회복이 가능해져 도전적인 시퀀스에서 강건성이 향상되었다.
• 표면 요소 기반 표현은 기하 및 운동 표현을 압축적으로 가능하게 하여 볼륨메트릭 방법 대비 메모리 사용량을 감소시켰다.
• 'upperbody' 및 'boxing' 데이터셋에서의 실험을 통해 복잡한 변형과 실패 처리에서 뛰어난 성능과 강건성을 입증하였다.
• 단일 GPU에서 실시간 기능을 입증하여 온라인 로봇 응용 분야에 적합함을 보였다.