[논문 리뷰] Noise-Aware Unsupervised Deep Lidar-Stereo Fusion

Xuelian Cheng, Yiran Zhong외 3명|arXiv (Cornell University)|2019. 04. 08.

Advanced Vision and Imaging참고 문헌 34인용 수 8

한 줄 요약

이 논문은 지도 학습이 필요 없는 종단간(end-to-end) 딥러닝 프레임워크인 LidarStereoNet을 제안한다. 이는 정합된 깊이 맵의 지도 데이터가 없이 스테레오와 LiDAR 데이터를 융합하는 데 목적이 있다. 노이즈가 있는 LiDAR 포인트와 정렬이 어긋난 상태를 다루기 위해 피드백 루프를 도입하고, 기하학적 정규화를 위해 조각별 기울어진 평면 피팅 손실을 적용함으로써, 기존의 스테레오 매칭, 깊이 보완(depth completion), 융합 방법들보다 크게 뛰어난 성능을 달성한다. 특히 LiDAR 데이터가 완전히 존재하지 않을 경우에도 성능을 유지한다.

ABSTRACT

In this paper, we present LidarStereoNet, the first unsupervised Lidar-stereo fusion network, which can be trained in an end-to-end manner without the need of ground truth depth maps. By introducing a novel "Feedback Loop'' to connect the network input with output, LidarStereoNet could tackle both noisy Lidar points and misalignment between sensors that have been ignored in existing Lidar-stereo fusion studies. Besides, we propose to incorporate a piecewise planar model into network learning to further constrain depths to conform to the underlying 3D geometry. Extensive quantitative and qualitative evaluations on both real and synthetic datasets demonstrate the superiority of our method, which outperforms state-of-the-art stereo matching, depth completion and Lidar-Stereo fusion approaches significantly.

연구 동기 및 목표

• 기존의 LiDAR-스테레오 융합 방법들이 학습을 위해 고비용의 지도된 깊이 맵에 의존하는 한계를 해결하기 위해.
• 실세계 환경에서 캘리브레이션 오차나 롤링 셔터 효과 등으로 인한 노이즈가 있는 LiDAR 측정치와 센서 정렬 오차를 다루기 위해.
• 다양한 데이터셋과 센서 구성에 대해 잘 일반화되는 강력한 종단간 비지도 학습 프레임워크를 개발하기 위해.
• 조각별 기울어진 평면 피팅 손실을 통해 강력한 3차원 기하학적 사전 지식을 통합하여 깊이 맵 품질을 향상시키기 위해.
• LiDAR 데이터가 완전히 부재한 경우에도 네트워크가 효과적으로 기능할 수 있도록 하기 위해.

제안 방법

• LiDAR 포인트를 입력으로, 비우성도 맵을 출력으로 연결하는 새로운 '피드백 루프'를 도입하여, 학습 중에 반복적인 정제와 노이즈 필터링을 가능하게 한다.
• 지도된 깊이 데이터가 필요 없도록, 스테레오 이미지 간의 광학 일致성과 스테레오 및 LiDAR 간의 깊이 일치성을 비지도 학습 손실로 활용한다.
• 학습 중에 점진적으로 노이즈가 있는 LiDAR 포인트를 점차 제거하는 전략을 적용하여 강건성을 향상시킨다.
• 3차원 구조 일관성을 강제하기 위해 조각별 기울어진 평면 피팅 손실을 도입하여, 비우성도가 기저의 평면 기하학에 맞도록 제약을 둔다.
• 스테레오와 LiDAR 입력을 별도로 처리한 후 네트워크의 최종 레이어에서 융합하는 후기 융합(late fusion) 전략을 사용하여 특징 호환성을 향상시킨다.
• 변동 가능한 LiDAR 희소성에 대응할 수 있으며, LiDAR가 완전히 부재한 극단적인 경우에도 스테레오 감독을 통해 성능을 유지한다.

실험 결과

연구 질문

• RQ1 지도된 깊이 애너테이션에 의존하지 않고도 비지도 딥러닝 프레임워크가 스테레오와 LiDAR 데이터를 효과적으로 융합할 수 있는가?
• RQ2 노이즈가 많은 LiDAR 포인트와 캘리브레이션 오류 또는 롤링 셔터 효과로 인한 센서 정렬 오차에 강건한 네트워크는 어떻게 설계할 수 있는가?
• RQ3 조각별 평면 구조와 같은 기하학적 사전 지식이 LiDAR-스테레오 융합에서 깊이 추정 성능을 얼마나 향상시킬 수 있는가?
• RQ4 제안된 방법은 다양한 수준의 센서 노이즈와 희소성 존재하는 실세계 및 합성 데이터셋에 일반화될 수 있는가?
• RQ5 피드백 루프 메커니즘이 LiDAR 입력을 사용해 깊이 예측을 반복적으로 정제함으로써 성능 향상에 상당한 기여를 하는가?

주요 결과

• KITTI 2015 데이터셋에서 LidarStereoNet은 절대 상대 오차(Abs Rel)가 0.0468을 기록하여, 다음으로 우수한 방법보다 핵심 지표에서 2배 이상 우수한 성능을 보였다.
• 와핑과 스무쓰니스 손실을 사용할 때 평면 피팅 손실을 추가함으로써 오차율이 3.02%에서 2.73%로 감소하여, 노이즈가 있는 입력에 대한 효과성을 입증했다.
• Synthia 데이터셋에서 노이즈가 많고 희소한 비우성도 입력 조건에서도 강력한 성능(Synthia, Abs Rel: 0.0334)을 유지했으며, S2D는 성능이著격히 저하되었다.
• 후기 융합 전략은 무융합 및 초기 융합 베이스라인보다 우수한 성능을 보였으며, Abs Rel은 0.0468로, 무융합(0.0555)과 초기 융합(0.0644)보다 높았다.
• 실세계 및 합성 데이터셋에서 다양한 기상 조건(저조도, dense 안개, 비)에 대해 잘 일반화되어 있으며, 일관된 성능을 유지했다.
• LiDAR 데이터가 완전히 부재한 경우에도 스테레오만으로도 경쟁 가능한 성능을 달성하여, 네트워크의 강건성과 적응 가능성의 우수성을 입증했다.