[논문 리뷰] Conf-Net: Predicting Depth Completion Error-Map For High-Confidence Dense 3D Point-Cloud.

Hamid Hekmatian, Samir Al-Stouhi외 1명|arXiv (Cornell University)|2019. 07. 23.

Advanced Vision and Imaging인용 수 3

한 줄 요약

Conf-Net는 깊이 보완의 오차 지ap을 예측하는 엔드 투 엔드 딥 러닝 방법을 제안하여 희소 LiDAR 데이터로부터 고신뢰도의 근접 밀도 3D 포인트 클라우드를 생성한다. 오차 지도를 사용해 예측된 포인트 중 단지 0.3%만 제거함으로써 RMSE를 399로 낮추었으며, 이는 최신 기술 대비 60% 낮고 RGB 가이드된 방법 대비 50% 낮은 수준이다. 이는 실제 자율주행 데이터에서 실시간 성능을 보여준다.

ABSTRACT

This work proposes a new method for depth completion of sparse LiDAR data using a convolutional neural network which learns to generate almost full 3D point-clouds with significantly lower root mean squared error (RMSE) over state-of-the-art methods. An almost dense high-confidence/low-variance point-cloud is more valuable for safety-critical applications specifically real-world autonomous driving than a dense point-cloud with high error rate and high variance. We examine the error of the standard depth completion methods and demonstrate that the error exhibits a long tail distribution which can be significantly reduced if a small portion of the generated depth points can be identified and removed. We add a purging step to our neural network and present a novel end-to-end algorithm that learns to predict a high-quality error-map of its prediction. Using our predicted error map, we demonstrate that by up-filling a LiDAR point cloud from 18,000 points to 285,000 points, versus 300,000 points for full depth, we can reduce the RMSE error from 1004 to 399. This error is approximately 60% less than the state-of-the-art and 50% less than the state-of-the-art with RGB guidance. We only need to remove 0.3% of the predicted points to get comparable results with the state-of-the-art which has RGB guidance. Our post-processing step takes the output of a standard encoder-decoder network, to generate high resolution 360 degrees dense point-cloud. In addition to analyzing our results on Kitti depth completion dataset, we demonstrate the real-world performance of our algorithm using data gathered with a Velodyne VLP-32C LiDAR mounted on our vehicle to verify the effectiveness and real-time performance of our algorithm for autonomous driving. Codes and demo videos are available at http://github.com/hekmak/Conf-net.

연구 동기 및 목표

• 안정성과 잠재적인 위험 요소가 큰 자율주행 응용 분야에서 밀도 높은 깊이 보완 출력의 높은 오차와 변동성을 해결하기 위해.
• 낮은 신뢰도 예측을 식별하고 제거하여 깊이 보완 오차의 장꼬리 분포를 줄이기 위해.
• 깊이 보완과 오차 지도 예측을 동시에 학습하는 엔드 투 엔드 방법을 개발하여 신뢰성을 향상시키기 위해.
• RGB 가이드 없이도 최소한의 오차로 고신뢰도의 근접 밀도 3D 포인트 클라우드를 생성하기 위해.
• 실제 차량에서 수집한 실시간 LiDAR 데이터를 사용해 실제 자율주행 환경에서 방법을 검증하기 위해.

제안 방법

• 예측된 깊이 보완 출력의 고해상도 오차 지도를 예측하기 위해 새로운 엔드 투 엔드 컨볼루션 신경망을 학습한다.
• 오차 지도를 사용해 가장 낮은 신뢰도의 깊이 포인트 중 단지 0.3%만 식별하고 제거함으로써 전체 RMSE를 크게 감소시킨다.
• 기본적인 인코더-디코더 네트워크를 사용해 깊이 예측을 수행한 후, 예측된 오차 지도에 따라 후처리 단계에서 포인트를 제거한다.
• 오차 지도는 깊이 보완 네트워크와 함께 엔드 투 엔드로 학습되며, 낮은 신뢰도 영역에서의 높은 오차를 방지하는 미분 가능한 손실 함수를 사용한다.
• KITTI 깊이 보완 벤치마크에서 평가되었으며, Velodyne VLP-32C LiDAR로 수집한 실제 데이터를 사용해 검증되었다.
• 최종 출력은 최대 285,000개의 포인트를 포함하는 360도 밀도 높은 포인트 클라우드로, 높은 신뢰도와 낮은 변동성을 확보한다.

실험 결과

연구 질문

• RQ1 깊이 보완 과정에서 오차 지도를 예측하면 희소 LiDAR 데이터에서 전체 RMSE를 크게 감소시킬 수 있는가?
• RQ2 낮은 신뢰도 포인트의 소수를 제거함으로써 깊이 보완 정확도가 얼마나 향상되는가?
• RQ3 특히 RGB 가이드를 사용하는 기존 최신 기술과 비교해 본다면 제안된 방법은 어떠한가?
• RQ4 실제 자율주행 환경에서 실시간 성능과 높은 신뢰성을 달성할 수 있는가?
• RQ5 깊이 보완 오차의 장꼬리 분포는 신경망이 학습할 수 있는 신뢰도 추정과 관련이 있는가?

주요 결과

• Conf-Net는 LiDAR 포인트를 18,000개에서 285,000개로 업샘플링할 때 RMSE를 1004에서 399로 낮춰 최신 기술 대비 60% 향상되었다.
• RGB 가이드된 최신 기술과 유사한 성능을 달성하면서도 예측 포인트 중 단지 0.3%만 제거하여 높은 효율성을 입증했다.
• 오차 지도 예측은 고신뢰도, 저변동성 깊이 보완을 가능하게 하여, 안전이 중요한 응용 분야에서 오차가 많은 밀도 높은 출력보다 더 유용하다.
• 실시간 성능을 확보했으며, 이동 중 차량에서 Velodyne VLP-32C LiDAR로 수집한 실시간 데이터를 사용해 검증되었다.
• RMSE 감소와 신뢰성 측면에서 RGB 가이드된 방법과 비가이드된 방법 모두 최신 기술을 뛰어넘는 성능을 보였다.
• 예측된 오차 지도에 기반한 제거 단계는 깊이 보완에서 흔히 발생하는 장꼬리 오차 분포를 효과적으로 완화한다.