[논문 리뷰] Towards Domain-agnostic Depth Completion

Xu, Guangkai, Wei Yin외 5명|arXiv (Cornell University)|2022. 07. 29.

Advanced Vision and Imaging참고 문헌 55인용 수 4

한 줄 요약

이 논문은 다양한 센서(예: 모바일 토모그래피, LiDAR, 다중 시점 재구성)에서 희박하고 노이즈가 많으며 해상도가 낮은 깊이 맵을 견고하게 보완하기 위해 데이터 기반 사전 지식으로 단일 이미지 깊이 예측 네트워크를 활용하는 도메인 무관한 깊이 보완 방법을 제안한다. 다양한 합성 희박성 패턴으로 훈련하고 노이즈에 강건한 최적화를 통합함으로써, 새로운 희박성 및 노이즈에 대한 강건성에 대한 벤치마크에서 SOTA 기법을 능가하는 우수한 도메인 간 일반화 성능을 달성한다.

ABSTRACT

Existing depth completion methods are often targeted at a specific sparse depth type and generalize poorly across task domains. We present a method to complete sparse/semi-dense, noisy, and potentially low-resolution depth maps obtained by various range sensors, including those in modern mobile phones, or by multi-view reconstruction algorithms. Our method leverages a data-driven prior in the form of a single image depth prediction network trained on large-scale datasets, the output of which is used as an input to our model. We propose an effective training scheme where we simulate various sparsity patterns in typical task domains. In addition, we design two new benchmarks to evaluate the generalizability and the robustness of depth completion methods. Our simple method shows superior cross-domain generalization ability against state-of-the-art depth completion methods, introducing a practical solution to high-quality depth capture on a mobile device. The code is available at: https://github.com/YvanYin/FillDepth.

연구 동기 및 목표

• 일반적으로 NYU나 KITTI와 같은 특정 희박성 패턴에 최적화된 기존 깊이 보완 방법의 열악한 도메인 간 일반화 성능를 해결한다.
• 모바일 장치 및 SLAM/SfM 파이프라인에서 흔히 발생하는 센서 노이즈와 이방성에 대한 강건성을 향상시킨다.
• 기존의 NYU 및 Matterport3D 데이터셋을 초월하여 다양한 희박성 패턴과 노이즈 수준을 고려한 새로운 벤치마크를 설계한다.
• 재훈련 없이도 여러 센서 유형(예: iPhone, Pixel, 화웨이) 간에 일반화 가능한 단일 모델을 가능하게 한다.
• 오직 RGB와 희박한 깊이 입력만을 사용하여 저비용 모바일 장치용 실용적이고 고성능의 깊이 보완 솔루션을 제공한다.

제안 방법

• 사전 훈련된 단일 이미지 깊이 예측 네트워크(예: Yin et al. [49])를 활용해 상대적 깊이 사전 지식을 생성하고, 이를 보완 네트워크에서 가이던스 맵으로 사용한다.
• 실제 센서 행동을 기반으로 다양한 희박성 패턴(비일치 시야각, 희박한 ToF, 단거리)을 시뮬레이션하여 데이터 증강을 적용함으로써 도메인 일반화 성능을 향상시킨다.
• 다양한 깊이 소스(예: NYU, ScanNet, DIODE)를 결합한 훈련 전략을 도입하여 시나리오 및 센서 다양성에 대한 강건성을 향상시킨다.
• NYU 영상에 대해 COLMAP를 사용해 합성된 노이즈가 포함된 깊이 맵으로 훈련하여 실세계 SLAM/SfM 오류를 시뮬레이션함으로써 노이즈에 강건한 성능을 확보한다.
• 한 번의 네트워크 통과에서 생성된 출력을 다음 단계의 가이던스 맵으로 사용하는 반복적 정밀화 전략을 적용하여 세부 구조 복원 성능을 향상시킨다.
• 모바일 플랫폼에서 실시간 추론을 위해 경량이고 효율적인 아키텍처(ESANet-R34-NBt1D)를 사용한다.

실험 결과

연구 질문

• RQ1 한 도메인에서 훈련된 깊이 보완 모델이 다른 센서(예: 모바일 ToF 대비 LiDAR)에서의 새로운 희박성 패턴으로도 효과적으로 일반화되는가?
• RQ2 학습된 단일 이미지 깊이 사전 지식을 통합함으로써 희박한 깊이 입력에 대한 노이즈와 이방성에 대한 강건성이 얼마나 향상되는가?
• RQ3 기존의 벤치마크가 실세계 강건성 평가를 얼마나 잘못 평가하는가? 새로운 벤치마크는 실용적 과제를 어떻게 더 잘 시뮬레이션할 수 있는가?
• RQ4 도메인 랜덤라이제이션과 다중 소스 데이터로 훈련된 단일 모델이 다양한 센서 유형과 노이즈 수준에서 SOTA 성능을 달성할 수 있는가?
• RQ5 데이터 기반 사전 지식의 사용이 완성된 깊이 맵의 세부 구조 복원 및 구조적 일관성에 얼마나 크게 기여하는가?

주요 결과

• 제안된 방법은 NLSPN 및 Senushkin et al.과 같은 SOTA 기법보다도 Unpaired FOV, Sparse ToF, Short Range와 같은 새로운 희박성 패턴에서 뛰어난 도메인 간 일반화 성능을 확보한다.
• NoisySparsity 벤치마크에서, COLMAP로 생성된 노이즈가 포함된 깊이 맵을 사용한 16개의 NYU 영상 전반에서 기준 모델을 일관되게 능가하며 강력한 노이즈 강건성을 입증한다.
• 정성적 결과에서, 특히 iPhone, Pixel, 화웨이 스마트폰 깊이 입력에서 NLSPN 및 Senushkin et al.에 비해 더 높은 기하학적 세부 구조와 텍스처 구조를 복원함을 확인할 수 있다.
• 재훈련 없이도 실제 모바일 깊이 센서에 대해 잘 일반화되며, 테스트된 모든 스마트폰 모델에서 SOTA 기법보다 일관된 성능 향상을 보였다.
• 제거 실험을 통해 데이터 기반 사전 지식과 다양한 데이터 증강의 조합이 성능과 강건성 향상에 크게 기여한다는 점을 확인했다.
• 새로운 벤치마크(GeneneralSparsity 및 NoisySparsity)는 기존 기법의 한계를 효과적으로 드러내며, 제안된 방법의 강건성과 일반화 능력을 검증한다.