[논문 리뷰] Deconstructing Self-Supervised Monocular Reconstruction: The Design Decisions that Matter

Jaime Spencer, Chris Russell외 2명|arXiv (Cornell University)|2022. 08. 02.

Advanced Vision and Imaging인용 수 15

한 줄 요약

이 논문은 현대화된 설계 선택을 통해 16개의 SotA 모델을 재구현함으로써 최신 자기지도 학습 단안 심도 추정 방법을 재평가한다. 그 결과, 백본 업그레이드만으로도 약 25%의 성능 향상이 이루어지며, 이는 종종 새로운 아키텍처를 능가한다. 보정된 벤치마크와 새로운 다양한 데이터셋(SYNS-Patches)을 도입하여 일반화 실패와 이전 연구에서 과대평가된 성능 향상을暴露한다.

ABSTRACT

This paper presents an open and comprehensive framework to systematically evaluate state-of-the-art contributions to self-supervised monocular depth estimation. This includes pretraining, backbone, architectural design choices and loss functions. Many papers in this field claim novelty in either architecture design or loss formulation. However, simply updating the backbone of historical systems results in relative improvements of 25%, allowing them to outperform the majority of existing systems. A systematic evaluation of papers in this field was not straightforward. The need to compare like-with-like in previous papers means that longstanding errors in the evaluation protocol are ubiquitous in the field. It is likely that many papers were not only optimized for particular datasets, but also for errors in the data and evaluation criteria. To aid future research in this area, we release a modular codebase (https://github.com/jspenmar/monodepth_benchmark), allowing for easy evaluation of alternate design decisions against corrected data and evaluation criteria. We re-implement, validate and re-evaluate 16 state-of-the-art contributions and introduce a new dataset (SYNS-Patches) containing dense outdoor depth maps in a variety of both natural and urban scenes. This allows for the computation of informative metrics in complex regions such as depth boundaries.

연구 동기 및 목표

• 일致되고 공정한 훈련 및 평가 프로토콜을 사용하여 최신 자기지도 학습 단안 심도 추정 방법을 체계적으로 재평가하기 위해.
• 이전 연구에서 과대평가된 성능 주장의 원인이 되었던 평가 벤치마크의 장기적 결함을 특정하고 수정하기 위해.
• 통제된 아블레이션을 통해 아키텍처 및 손실 함수 혁신의 영향을 분리하여 평가하기 위해.
• 자동차 데이터셋 외의 환경으로의 일반화 성능을 평가하기 위해 자연 및 도시 환경을 포함한 새로운 다양한 테스트 세트(SYNS-Patches)를 도입하기 위해.
• 모듈러하고 오픈소스 코드베이스를 공개하여 재현 가능한 연구를 촉진하고 다양한 심도 추정 방법 간의 일관된 비교를 가능하게 하기 위해.

제안 방법

• 일致된 모듈러 코드베이스를 사용하여 16개의 SotA 단안 심도 추정 모델을 재현함으로써 일致된 훈련 및 평가를 확보하였다.
• 현대화된 백본(예: ResNet-18, ResNet-50), 사전학습, 손실 함수 등 모든 모델 간의 표준화된 설계 선택을 통해 공정한 비교를 가능하게 하였다.
• 구형 벤치마크인 KITTI에 존재하는 오류를 제거하기 위해 보정된 진짜 심도 데이터를 사용하였다.
• 일반화 성능 평가를 위해 다양한 환경(삼림, 도시 주거지역, 산업지역, 실내)의 1175장의 이미지를 포함한 새로운 테스트 데이터셋(SYNS-Patches)을 도입하였다.
• 심도 정렬을 위해 이미지별 중앙값 스케일링을 적용하고, AbsRel, RMSE, 에지 기반 정확도, 완성도, 심도 경계에서의 F-score 등의 지표를 보고하였다.
• 세분화된 훈련 없이도 새로운 데이터에 대해 평가함으로써 다양한 환경 유형 간의 강건성과 전이 가능성 테스트를 수행하였다.

실험 결과

연구 질문

• RQ1 공정하고 일관된 조건에서 평가할 경우, 최근 자기지도 학습 단안 심도 추정에서의 아키텍처 및 손실 함수 혁신이 실제로 얼마나 높은 성능 향상을 가져오는가?
• RQ2 이전 SotA 논문에서 보고된 성능 향상의 대부분이 새로운 구성 요소가 아니라 오래된 기준선과 잘못된 평가 프로토콜 탓인지 얼마나 되는가?
• RQ3 자동차 데이터셋에서 훈련된 모델이 삼림과 도시 주거지역과 같은 복잡하고 다양한 실제 환경으로의 일반화 능력은 얼마나 되는가?
• RQ4 백본 선택의 진정한 영향은 무엇이며, 최근의 방법론적 기여와 비교해 볼 때 어떤가?
• RQ5 현재 모델은 도전적인 심도 불연속성과 얇은 구조에서 어떻게 작동하는가? 어떤 지표들이 지속적인 실패 모드를 드러내는가?

주요 결과

• 현대화된 백본(예: ResNet-50)과 표준화된 훈련 절차를 사용해 구형 모델을 재현하면 원래 버전 대비 약 25%의 상대적 성능 향상이 이루어진다.
• 많은 최근 SotA 방법들이 공정한 조건에서 재평가될 경우 상대적 성능 향상이 크게 줄어들며, 종종 현대화된 구형 기반 모델에 비해 열등한 성능을 보인다.
• Garg et al. (2016)는 KITTI와 SYNS-Patches 양쪽 모두에서 상위 성능를 기록하며, 특히 3D 재구성과 에지 기반 지표에서 뛰어난 성능을 보인다.
• 모든 모델이 SYNS-Patches 데이터셋에서 성능이 크게 떨어지며, 자동차 영역 외의 일반화 능력이 떨어지는 것으로 나타난다.
• 에지 기반 지표는 지속적인 문제를 드러낸다: 예측된 에지는 일반적으로 정확하게(약 3px 오차), 하지만 에지 완성도는 낮아(약 26px 오차) 불연속성이 누락된 것으로 나타나, 이는 결함이 있는 심도 경계 탐지의 문제를 시사한다.
• Monodepth2 및 그 변종은 얇은 구조와 물체 경계에서 정확도를 향상시키지만, 복잡한 자연 환경에서는 여전히 실패하며, 현재 접근 방식의 핵심적 한계를 드러낸다.