[논문 리뷰] Advancing Self-supervised Monocular Depth Learning with Sparse LiDAR

Ziyue Feng, Longlong Jing외 3명|arXiv (Cornell University)|2021. 09. 20.

Advanced Vision and Imaging참고 문헌 57인용 수 15

한 줄 요약

이 논문은 희박한 LiDAR와 단안 영상 특징을 융합하여 고밀도 단안 영상 깊이 예측을 향상시키는 이중 단계형 자기지도 학습 네트워크인 FusionDepth를 제안한다. 희박한 LiDAR에 대한 가짜 밀도 표현과 실시간 RefineNet을 도입함으로써, 기존의 희박한 LiDAR 기반 방법에 비해 KITTI에서 단안 3D 객체 검출 성능을 68% 이상 향상시키는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Self-supervised monocular depth prediction provides a cost-effective solution to obtain the 3D location of each pixel. However, the existing approaches usually lead to unsatisfactory accuracy, which is critical for autonomous robots. In this paper, we propose FusionDepth, a novel two-stage network to advance the self-supervised monocular dense depth learning by leveraging low-cost sparse (e.g. 4-beam) LiDAR. Unlike the existing methods that use sparse LiDAR mainly in a manner of time-consuming iterative post-processing, our model fuses monocular image features and sparse LiDAR features to predict initial depth maps. Then, an efficient feed-forward refine network is further designed to correct the errors in these initial depth maps in pseudo-3D space with real-time performance. Extensive experiments show that our proposed model significantly outperforms all the state-of-the-art self-supervised methods, as well as the sparse-LiDAR-based methods on both self-supervised monocular depth prediction and completion tasks. With the accurate dense depth prediction, our model outperforms the state-of-the-art sparse-LiDAR-based method (Pseudo-LiDAR++) by more than 68% for the downstream task monocular 3D object detection on the KITTI Leaderboard. Code is available at https://github.com/AutoAILab/FusionDepth

연구 동기 및 목표

• 동적인, 가림이 발생하는 환경에서 자기지도 학습 기반 단안 영상 깊이 예측의 낮은 정확도 문제를 해결하기 위해.
• 저비용의 희박한 LiDAR(예: 4빔)를 느린 후처리에 의존하지 않고 기하학적 사전 지식으로 활용하기 위해.
• 고품질의 깊이 예측을 통해 단안 3D 객체 검출과 같은 후행 3D 인식 작업을 향상시키기 위해.
• 가짜 3D 공간에서 깊이 오차를 보정할 수 있는 효율적이고 실시간 동작이 가능한 보정 네트워크를 설계하기 위해.
• 깊이 예측 정확도와 후행 3D 인식 성능 간의 강력한 연관성을 확립하기 위해.

제안 방법

• 이 방법은 이중 단계 프레임워크를 사용한다: 먼저, 단안 영상 특징과 희박한 LiDAR 포인트의 가짜 밀도 표현을 융합하여 初기 깊이 맵을 생성하는 특징 융합 네트워크를 구현한다.
• 효율적인 특징 융합을 위해 희박한 LiDAR 포인트를 더 밀도 높고 네트워크 우호적인 형식으로 변환하는 새로운 가짜 밀도 표현(PDR)을 도입한다.
• 3D 공간에서 고차원 깊이 오차를 보정하기 위해 실시간 동작이 가능한 피드포워드 형식의 RefineNet을 학습하여 139 FPS의 실시간 추론 성능을 달성한다.
• 광학 일致성 손실과 자동차 이동 추정을 사용한 자기지도 학습 목표 함수를 통해 엔드 투 엔드로 모델을 학습시킨다.
• 프레임워크는 깊이 예측 및 완성 작업 모두에서 평가되며, 예측된 깊이 맵을 활용해 단안 3D 객체 검출을 위한 가짜-LiDAR 포인트를 생성한다.
• RefineNet은 가짜 3D 공간에서 동작하여 2D 영상 공간을 넘어서 기하학적으로 의미 있는 오차 보정이 가능하다.

실험 결과

연구 질문

• RQ1 희박한 LiDAR를 특징 학습 단계에서 단안 영상과 효과적으로 융합하여 깊이 예측 정확도를 향상시킬 수 있는가?
• RQ2 초기 예측 후 보정 단계를 거치는 이중 단계 접근 방식이 엔드 투 엔드 자기지도 학습 방법보다 더 나은 깊이 품질을 제공하는가?
• RQ3 실시간 동작이 가능한 피드포워드 보정 네트워크가 GDC와 같은 반복적이고 느린 후처리 방법을 능가할 수 있는가?
• RQ4 개선된 깊이 예측이 후행 3D 객체 검출 성능에 얼마나 기여하는가?
• RQ5 저수준 작업과 고수준 작업 모두에서 제안된 방법은 최신 기술 수준의 자기지도 학습 및 희박한 LiDAR 기반 방법과 비교해 어떻게 성능을 냈는가?

주요 결과

• FusionDepth는 KITTI 단안 영상 깊이 예측 벤치마크에서 최신 기술 수준의 성능을 달성하여 기존의 자기지도 학습 방법을 크게 앞서 간다.
• 제안된 가짜 밀도 표현을 통해 희박한 LiDAR와 영상 특징을 효과적으로 융합함으로써 깊이 완성 정확도를 향상시킨다.
• RefineNet은 모든 의미 분류 항목에서 깊이 오차를 감소시키며, 차량과 보행자와 같은 움직이는 물체에서 가장 두드러진 개선 효과를 보였다.
• KITTI 3D 객체 검출 벤치마크에서 FusionDepth는 Pseudo-LiDAR++ 대비 차량 카테고리에서 AP@0.7 기준 68.9% 향상된 성능을 기록했다.
• 정밀한 깊이 맵은 정성적 비교를 통해 기준 모델 및 진짜 값과 비교해 상당히 향상된 검출 결과를 도출하였다.
• RefineNet은 139 FPS의 실시간 추론 성능을 달성하여, 느린 GDC 기반 방법과 달리 자율 로봇 응용 분야에 적합하다.