[논문 리뷰] SeasonDepth: Cross-Season Monocular Depth Prediction Dataset and Benchmark under Multiple Environments

Hanjiang Hu, Baoquan Yang외 7명|arXiv (Cornell University)|2020. 11. 09.

Advanced Vision and Imaging참고 문헌 72인용 수 4

한 줄 요약

이 논문은 구조에서 운동(SfM) 및 다중 시점 스테레오(MVS) 파이프라인을 사용하여 다양한 실제 환경(예: 변화하는 조도, 잎자국, 기상 조건)에서 수집한, 다수의 계절을 아우르는 단안 영상 깊이 예측 데이터셋 및 벤치마크인 SeasonDepth를 소개한다. 최신의 지도 학습 및 자기지도 학습 기반 깊이 예측 모델을 평가하여, 현재의 방법들이 환경 변화에 대한 일반화 능력에 어려움을 겪고 있음을 밝히며, KITTI나 Cityscapes에서의 사전 훈련보다 SeasonDepth에서의 미세조정을 통해 더 높은 강인성을 확보할 수 있음을 보여준다.

ABSTRACT

Different environments pose a great challenge to the outdoor robust visual perception for long-term autonomous driving, and the generalization of learning-based algorithms on different environments is still an open problem. Although monocular depth prediction has been well studied recently, few works focus on the robustness of learning-based depth prediction across different environments, e.g. changing illumination and seasons, owing to the lack of such a multi-environment real-world dataset and benchmark. To this end, the first cross-season monocular depth prediction dataset and benchmark, SeasonDepth, is introduced to benchmark the depth estimation performance under different environments. We investigate several state-of-the-art representative open-source supervised and self-supervised depth prediction methods using newly-formulated metrics. Through extensive experimental evaluation on the proposed dataset and cross-dataset evaluation with current autonomous driving datasets, the performance and robustness against the influence of multiple environments are analyzed qualitatively and quantitatively. We show that long-term monocular depth prediction is still challenging and believe our work can boost further research on the long-term robustness and generalization for outdoor visual perception. The dataset is available on https://seasondepth.github.io, and the benchmark toolkit is available on https://github.com/ SeasonDepth/SeasonDepth.

연구 동기 및 목표

• 계절 변화, 조도, 기상 조건 등 다양한 환경 조건에서 단안 영상 깊이 예측을 평가할 수 있는 실제 환경 데이터셋의 부족 문제를 해결하기 위해.
• 다양한 환경 변화에서 최신 지도 학습 및 자기지도 학습 기반 깊이 예측 모델의 일반화 및 강인성 수준을 평가하기 위해.
• 장기적인 강인성에 대한 체계적 평가 및 향후 연구를 가능하게 하기 위해 공개 가능한 데이터셋과 벤치마크 툴킷을 제공하기 위해.
• 환경 변화가 깊이 예측 성능에 미치는 영향을 정량적·정성적으로 분석하여 실패 원인과 유망한 방향을 규명하기 위해.

제안 방법

• CMU 시각적 위치 기반 데이터셋을 기반으로 SfM 및 MVS 파이프라인을 적용하고 RANSAC 및 수동 후처리를 통해 스케일 없는 고밀도 깊이 맵을 생성함으로써 SeasonDepth 데이터셋을 구축함.
• 구름진 하늘, 흐린 날씨, 저조도, 다양한 잎자국 등 다양한 환경 조건에서 동일한 도시 주행 노선에 따라 RGB 영상과 해당 깊이 맵을 수집함.
• 환경 간 성능 일관성을 평가하기 위해 평균, 분산, 상대 범위를 포함한 새로운 평가 지표를 제안함.
• KITTI 및 Cityscapes 리더보드의 대표적인 오픈소스 모델(지도 학습, 스테레오 기반, 비디오 기반, 도메인 적응 방법 포함)을 벤치마크로 평가함.
• 도메인 일반화 능력을 평가하기 위해, KITTI에서 훈련한 모델을 SeasonDepth에서 미세조정하고 KITTI에서 테스트하는 식의 교차 데이터셋 평가를 수행함.
• 정확한 비교를 위해 스케일 없는 깊이 예측 결과에 대해 평균 및 분산 정규화를 적용함.

실험 결과

연구 질문

• RQ1 최신의 단안 영상 깊이 예측 모델은 계절 변화나 다양한 조도 조건에서 어떻게 성능을 발휘하는가?
• RQ2 KITTI 또는 Cityscapes에서 훈련한 모델을 SeasonDepth 데이터셋에서 미세조정할 경우 도메인 이동이 어떤 영향을 미치는가?
• RQ3 다양한 환경에서 평균 성능와 분산 측면에서 더 뛰어난 강인성과 일관성을 보이는 깊이 예측 방법은 무엇인가?
• RQ4 Cityscapes에서 훈련하는 것과 비교해 SeasonDepth에서 훈련하면 KITTI와 같은 다른 데이터셋으로의 일반화 능력이 얼마나 향상되는가?

주요 결과

• 잘 튜닝된 대부분의 깊이 예측 모델은 저조도나 흐린 날씨와 같은 다양한 환경 조건에서 높은 분산과 일관성 없는 성능을 보이며, 일반화 능력이 열악함을 확인함.
• SeasonDepth에서의 미세조정은 Cityscapes에서의 미세조정보다 KITTI에서의 성능을 더 높게 유지함을 확인하여, SeasonDepth가 더 다양한 환경 변화를 포함하고 있음을 시사함.
• Cityscapes에서 미세조정한 모델 대비 SeasonDepth에서 미세조정한 모델은 절대 오차 상대값(absErrorRel) 및 제곱 오차 상대값(sqErrorRel) 측정 기준으로 성능 변동이 유의미하게 낮아, 강인성이 향상됨을 확인함.
• KITTI에서 사전 훈련한 모델의 성능이 SeasonDepth에서 뚜렷하게 저하됨을 확인하여, 현저한 도메인 이동이 존재하고 있으며, 현재 모델들이 환경 변화에 대응하는 데 한계가 있음을 시사함.
• 스케일이 없는 상태임에도 불구하고, SfM/MVS 기반 깊이 맵이 교차 데이터셋 성능 비교를 통해 충분히 정확하여 훈련 및 평가에 유용함을 검증함.