[논문 리뷰] Toward Hierarchical Self-Supervised Monocular Absolute Depth Estimation for Autonomous Driving Applications

Feng Xue, Guirong Zhuo외 4명|arXiv (Cornell University)|2020. 04. 12.

Advanced Vision and Imaging참고 문헌 36인용 수 4

한 줄 요약

이 논문은 자기지도 학습 기반 단안 영상 깊이 추정 프레임워크인 DNet을 제안하며, 추가 센서 없이도 물체 수준의 깊이 정확도를 향상시키고 절대 깊이 예측을 가능하게 한다. 계층적 특징 보정을 위한 밀집 연결 예측(DCP) 레이어와 지면 기하학을 이용한 척도 복구를 위한 밀집 기하 제약(DGC) 모듈을 도입함으로써, 지면 점이 픽셀의 1.03% 이상을 차지할 경우 라이다 기반 지도값을 사용하는 방법과 유사한 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In recent years, self-supervised methods for monocular depth estimation has rapidly become an significant branch of depth estimation task, especially for autonomous driving applications. Despite the high overall precision achieved, current methods still suffer from a) imprecise object-level depth inference and b) uncertain scale factor. The former problem would cause texture copy or provide inaccurate object boundary, and the latter would require current methods to have an additional sensor like LiDAR to provide depth ground-truth or stereo camera as additional training inputs, which makes them difficult to implement. In this work, we propose to address these two problems together by introducing DNet. Our contributions are twofold: a) a novel dense connected prediction (DCP) layer is proposed to provide better object-level depth estimation and b) specifically for autonomous driving scenarios, dense geometrical constrains (DGC) is introduced so that precise scale factor can be recovered without additional cost for autonomous vehicles. Extensive experiments have been conducted and, both DCP layer and DGC module are proved to be effectively solving the aforementioned problems respectively. Thanks to DCP layer, object boundary can now be better distinguished in the depth map and the depth is more continues on object level. It is also demonstrated that the performance of using DGC to perform scale recovery is comparable to that using ground-truth information, when the camera height is given and the ground point takes up more than 1.03\% of the pixels. Code is available at https://github.com/TJ-IPLab/DNet.

연구 동기 및 목표

• 자기지도 학습 기반 단안 영상 깊이 추정에서 정확도가 떨어지는 물체 수준의 깊이 추론 문제를 해결하기 위해.
• 단안 영상 깊이 추정에서 척도 복구를 위해 라이다나 스테레오 카메라에 의존하지 않도록 하기 위해.
• 단일 RGB 영상에서 절대 깊이 예측을 통해 자기지도 학습 기반 깊이 추정의 실용적 구현을 가능하게 하기 위해.
• 계층적 특징 학습을 통해 깊이 맵의 연속성과 경계 정확도를 향상시키기 위해.
• 지면의 기하 제약을 이용한 센서 없는 강력한 척도 복구 방법을 개발하기 위해.

제안 방법

• 다양한 스케일의 특징을 계층적으로 통합하기 위해 밀집 연결 예측(DCP) 레이어를 도입하여, 물체 수준의 깊이 추정 정확도를 향상시키고 시각적 아티팩트를 감소시킨다.
• DCP 레이어는 다양한 스케일의 특징을 융합하여 깊이 예측를 정밀하게 보완함으로써 경계 정의와 깊이의 연속성을 향상시킨다.
• 절대 깊이를 추정하기 위해 지면 점을 탐지하고 그로부터 카메라 높이를 계산하는 방식의 밀집 기하 제약(DGC) 모듈을 제안한다.
• DGC 모듈은 통계적 방법을 사용하여 지면 점 탐지에서의 이방성(아웃라이어)를 억제하고, 추정된 카메라 높이와 주어진 카메라 높이를 비교하여 척도 인자를 계산한다.
• 자기지도 학습을 위해 광학적 재구성 손실을 사용하며, DGC는 지도값이 없는 깊이 정보로도 척도 캘리브레이션을 가능하게 한다.
• 프레임워크는 KITTI Eigen 분할 데이터셋에서 엔드 투 엔드로 훈련되며, 추론 시간은 50.0ms, DGC 척도 복구 시간은 각각 4.1ms이다.

실험 결과

연구 질문

• RQ1 계층적 특징 학습은 자기지도 학습 기반 단안 영상 깊이 추정에서 물체 수준의 깊이 경계 정확도를 향상시킬 수 있는가?
• RQ2 라이다나 스테레오 감시 없이도 단안 영상에서 절대 깊이를 복구할 수 있는가?
• RQ3 다양한 지면 점 비율 조건에서 DGC 모듈의 척도 복구 성능은 얼마나 견고한가?
• RQ4 DGC 기반 척도 복구가 라이다 기반 척도 캘리브레이션에 비해 성능 면에서 뛰어나거나 동등한가?
• RQ5 신뢰할 수 있는 DGC 기반 척도 추정을 위해 필요한 최소 지면 점 비율은 얼마인가?

주요 결과

• qualitative 비교를 통해 DCP 레이어가 물체 경계 정의를 크게 향상시키고 깊이 아티팩트를 감소시킴을 확인할 수 있었다.
• 지면 점이 영상 픽셀의 1.03% 이상을 차지할 경우, DGC 모듈은 지도값 기반 방법과 유사한 척도 복구 성능을 달성한다.
• 테스트 프레임의 31.7%에서 45.2% 동안, DGC 모듈은 최소한 네 가지 평가 지표 중 하나에서 라이다 기반 척도 복구를 능가한다.
• 지면 점 비율이 충분히 높을 경우, DGC 모듈은 다양한 환경에서 뛰어난 견고성과 균일한 성능을 보였다.
• 전체 DNet 파이프라인은 KITTI Eigen 분할에서 경쟁적인 성능을 달성하였으며, 추론 시간은 50.0ms, DGC 척도 복구 시간은 4.1ms였다.
• 제거 실험을 통해 DCP 레이어와 DGC 모듈의 효과가 입증되었으며, 민감도 분석 결과 1.03% 이하의 지면 점 비율에서는 성능 저하가 발생하는 것으로 나타났다.