[논문 리뷰] DENSER Cities: A System for Dense Efficient Reconstructions of Cities

Michael Tanner, Pedro Piniés외 2명|arXiv (Cornell University)|2016. 04. 13.

Advanced Vision and Imaging참고 문헌 24인용 수 3

한 줄 요약

이 논문은 스테레오 카메라와 정규화된 해싱 볼륨 격자(HVG)를 사용하여 실시간, 고밀도, 고정밀한 도시 규모 3D 재구성 시스템인 DENSER Cities를 제안한다. 압축된 부피 데이터에 비틀림 보정을 적용함으로써 KITTI 데이터셋 시퀀스 3.4 km 동안 중앙값 재구성 오차를 40% 감소시켜 6 cm로 줄였으며, 최소한의 잡음과 근접한 실시간 성능을 달성한 고정밀 모델을 구현하였다.

ABSTRACT

This paper is about the efficient generation of dense, colored models of city-scale environments from range data and in particular, stereo cameras. Better maps make for better understanding; better understanding leads to better robots, but this comes at a cost. The computational and memory requirements of large dense models can be prohibitive. We provide the theory and the system needed to create city-scale dense reconstructions. To do so, we apply a regularizer over a compressed 3D data structure while dealing with the complex boundary conditions this induces during the data-fusion stage. We show that only with these considerations can we swiftly create neat, large, "well behaved" reconstructions. We evaluate our system using the KITTI dataset and provide statistics for the metric errors in all surfaces created compared to those measured with 3D laser. Our regularizer reduces the median error by 40% in 3.4 km of dense reconstructions with a median accuracy of 6 cm. For subjective analysis, we provide a qualitative review of 6.1 km of our dense reconstructions in an attached video. These are the largest dense reconstructions from a single passive camera we are aware of in the literature.

연구 동기 및 목표

• 패assing 스테레오 시각을 사용하여 스케일러블하고 고밀도이며 정밀한 도시 규모 환경의 3D 재구성을 가능하게 하기 위해.
• 큰 도시 환경에서의 고밀도 3D 재구성의 계산 및 메모리 제약을 극복하기 위해.
• 해싱 볼륨 격자(HVG)와 같은 압축된 경계가 풍부한 3D 데이터 구조 내에서 효과적으로 작용하는 정규화 방법을 개발하기 위해.
• 급격한 불일치와 조명 변화로 인해 발생하는 깊이 맵의 노이즈와 가짜 표면을 줄이기 위해.
• 자율주행과 같은 애플리케이션에서 실시간 성능를 유지하면서도 고정밀 기하학적 정확도를 확보하기 위해.

제안 방법

• 시스템은 스테레오 카메라를 사용하여 2차 정규화 에너지 항을 변분 광류에서 영감을 얻어, 서브픽셀 정확도와 조각별 평면 깊이 맵을 가능하게 하는 방식으로 각 픽셀의 깊이 맵을 생성한다.
• 깊이 추정 중 다양한 조명 조건을 처리하기 위해 강력한 삼항 캐서스 서명(TCS) 충실도 항을 사용한다.
• 이방향 확산 텐서를 정규화에 적용하여 물체 경계에 수직인 기울기를 처벌함으로써 깊이 불연속성을 유지하면서도 경계를 따라 부드러움을 허용한다.
• 3D 부피 데이터를 압축하기 위해 해싱 볼륨 격자(HVG)를 활용하여 제한된 GPU 메모리 내에서 대규모 재구성을 가능하게 한다.
• HVG의 구조로 인한 경계 조건을 처리하기 위해 기울기 및 발산 연산자를 재정의하여, 부적절한 외삽 없이 정확한 정규화를 보장한다.
• 데이터 융합은 점진적으로 수행되며, 정규화가 융합 단계에서 적용되어 노이즈와 가짜 표면을 억제한다.

실험 결과

연구 질문

• RQ1 스테레오 카메라만을 사용하여 실시간, 고밀도 3D 재구성 시스템이 도시 규모 환경에서 높은 정확도와 확장성을 달성할 수 있는가?
• RQ2 복잡한 경계 조건이 존재하는 해싱 볼륨 격자와 같은 압축된 3D 데이터 구조 내에서 효과적인 정규화를 어떻게 적용할 수 있는가?
• RQ3 이방향 확산이 불연속성을 유지하면서 노이즈를 줄임으로써 깊이 맵 품질을 얼마나 향상시킬 수 있는가?
• RQ4 정규화가 대규모 재구성에서 가짜 표면을 줄이고 기하학적 정확도를 향상시키는 데 어떤 영향을 미치는가?
• RQ5 시스템은 대규모에서 서브-10cm 중앙값 재구성 오차를 달성하면서도 근접한 실시간 성능를 유지할 수 있는가?

주요 결과

• 정규화 항으로 인해 KITTI 데이터셋 시퀀스 3.4 km 동안 중앙값 재구성 오차가 40% 감소하여 10 cm에서 6 cm로 줄었다.
• 75번째 백분위수 오차는 36 cm에서 23 cm로 36% 감소하여 외곽치와 노이즈를 효과적으로 개선했다.
• 표면 면적은 55,008 m²에서 37,336 m²로 32% 감소하여 가짜 또는 부정확한 표면의 효과적인 억제를 확인했다.
• HVG 구조 덕분에 6 GiB GPU 메모리로 1.6 km의 도시 환경를 재구성할 수 있었으며, 기존 볼륨 격자로는 단지 205 m까지 가능했다.
• 시스템은 근접한 실시간 융합 성능를 달성하여, GeForce GTX TITAN에서 10 cm 볼륨 해상도로 3.4 km를 10분 이내에 처리했다.
• 시각적 검토 결과 고정밀도이며 시각적으로 일관된 재구성 결과를 확보했지만, 저조도 또는 조명 변화가 큰 영역에서는 여전히 구멍이 존재했다.