[논문 리뷰] Depth Completion from Sparse LiDAR Data with Depth-Normal Constraints

Yan Xu, Xinge Zhu외 4명|arXiv (Cornell University)|2019. 10. 15.

Advanced Vision and Imaging참고 문헌 13인용 수 16

한 줄 요약

이 논문은 깊이-노멀 제약 조건을 활용하고 신뢰도 인식 확산 모듈을 통합하여 희박한 LiDAR 데이터로부터 깊이 보완을 위한 통합형 CNN 프레임워크를 제안한다. 이는 깊이, 표면 노멀, 그리고 신뢰도 지도를 동시에 예측한 후 기하학적 일관성을 유지하는 기하학적 인식 확산 모듈을 통해 결과를 정밀하게 보정한다. 제안된 방법은 KITTI 및 NYU-Depth-V2에서 최신 기준 성능을 달성하며, 노이즈에 대한 강건성과 실내 및 실외 환경 간의 일반화 능력을 입증한다.

ABSTRACT

Depth completion aims to recover dense depth maps from sparse depth measurements. It is of increasing importance for autonomous driving and draws increasing attention from the vision community. Most of existing methods directly train a network to learn a mapping from sparse depth inputs to dense depth maps, which has difficulties in utilizing the 3D geometric constraints and handling the practical sensor noises. In this paper, to regularize the depth completion and improve the robustness against noise, we propose a unified CNN framework that 1) models the geometric constraints between depth and surface normal in a diffusion module and 2) predicts the confidence of sparse LiDAR measurements to mitigate the impact of noise. Specifically, our encoder-decoder backbone predicts surface normals, coarse depth and confidence of LiDAR inputs simultaneously, which are subsequently inputted into our diffusion refinement module to obtain the final completion results. Extensive experiments on KITTI depth completion dataset and NYU-Depth-V2 dataset demonstrate that our method achieves state-of-the-art performance. Further ablation study and analysis give more insights into the proposed method and demonstrate the generalization capability and stability of our model.

연구 동기 및 목표

• 깊이와 표면 노멀 간의 3차원 기하학적 제약 조건을 통합하여 깊이 보완 정확도를 향상시키기 위해.
• 희박한 LiDAR 측정치에서의 센서 노이즈에 대한 강건성을 향상시키기 위해.
• 깊이, 노멀, 그리고 신뢰도를 동시에 예측하는 통합형 엔드 투 엔드 학습 프레임워크를 개발하기 위해.
• 실내 및 실외 환경을 포함한 다양한 환경에서 안정적이고 일반화 가능한 깊이 보완을 가능하게 하기 위해.
• 히우리스틱 기반 후처리를 기하학적 인식 가능한, 미분 가능한 보정 메커니즘으로 대체하기 위해.

제안 방법

• 희박한 깊이 입력으로부터 거칠은 깊이, 표면 노멀, 그리고 신뢰도 지도를 예측하기 위해 공유 인코더와 다중 디코더 아키텍처를 사용한다.
• 픽셀 간 고차원 특성 유사도를 기반으로 도전도를 모델링하는 새로운 이방향 확산 모듈을 도입한다.
• 소스 및 타겟 픽셀의 특성에서 유사도를 계산하는 비대칭 도전도 함수를 적용한다.
• 기하학적 일관성을 강제하기 위해 평면 기반 거리 공간에서 확산 과정을 적용하며, 각 평면 내에서는 깊이가 조각별로 일정하다고 가정한다.
• 노이즈가 많은 LiDAR 포인트로부터 오류 전파를 억제하기 위해 신뢰도 지도를 확산 과정의 가중치 요소로 통합한다.
• 깊이, 노멀, 그리고 신뢰도 감독을 통합한 다중 작업 손실을 사용하여 전체 네트워크를 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 깊이와 표면 노멀 간의 기하학적 제약 조건이 깊이 보완 성능을 향상시킬 수 있는가?
• RQ2 희박한 LiDAR 측정치에서 노이즈를 깊이 보완 과정 동안 효과적으로 완화할 수 있는가?
• RQ3 기하학적 인식 가능한, 확산 기반 보정 모듈이 기존 2D 기반 보정보다 우수한 성능을 낼 수 있는가?
• RQ4 제안된 방법은 실내 및 실외 환경을 포함한 다양한 환경에서 잘 일반화되는가?
• RQ5 성능는 신뢰도 예측 하이퍼파rameter와 보정 반복 횟수에 얼마나 민감한가?

주요 결과

• 제안된 방법은 KITTI 깊이 보완 벤치마크에서 최신 기준 성능을 달성하였으며, ResNet-50 인코더를 사용할 경우 테스트 RMSE가 0.112 mm였다.
• NYU-Depth-V2 데이터셋에서, 방법은 RMSE 0.112 mm와 δ1.25에 대해 99.5%의 정확도를 기록하여 이전의 CNN 기반 및 전통적 방법들을 능가했다.
• 제거 실험 결과, 신뢰도 예측이 강건성 향상에 크게 기여하며, 이를 제거할 경우 성능가 10% 이상 저하됨을 확인했다.
• 비대칭 도전도를 갖춘 확산 모듈이 대칭 및 기타 유사도 함수(예: 유클리드 거리, 내적)보다 우수한 성능을 보였다.
• 다양한 입력 희박성 수준에서도 안정적인 성능을 유지하였으며, 원래 샘플링 레이트의 1/10 수준에서도 합리적인 결과를 생성했다.
• 반복 횟수가 많아질수록 보정 과정이 안정화되고 성능 향상되며, 훈련 단계 성능을 초월하는 결과도 관찰되었다.