[논문 리뷰] Deep Digging into the Generalization of Self-Supervised Monocular Depth Estimation

Jin Woo Bae, Sungho Moon외 1명|arXiv (Cornell University)|2022. 05. 23.

Image Processing Techniques and Applications인용 수 7

한 줄 요약

이 논문은 자기지도 학습 단안 깊이 추정의 일반화를 분석하기 위해 백본 네트워크(CNN, Transformer, 하이브리드)를 조사하여, 형태에 치우친 모델이 텍스처에 치우친 모델보다 더 잘 일반화됨을 밝혀냈다. 저자들은 다중 수준 적응형 특징 융합을 통해 형태 편향을 강화하면서 국소 인덕티브 편향을 유지하는 CNN-Transformer 하이브리드 모델인 MonoFormer을 제안하며, 다양한 미사용 데이터셋에서 최고 성능과 뛰어난 일반화 능력을 달성했다.

ABSTRACT

Self-supervised monocular depth estimation has been widely studied recently. Most of the work has focused on improving performance on benchmark datasets, such as KITTI, but has offered a few experiments on generalization performance. In this paper, we investigate the backbone networks (e.g. CNNs, Transformers, and CNN-Transformer hybrid models) toward the generalization of monocular depth estimation. We first evaluate state-of-the-art models on diverse public datasets, which have never been seen during the network training. Next, we investigate the effects of texture-biased and shape-biased representations using the various texture-shifted datasets that we generated. We observe that Transformers exhibit a strong shape bias and CNNs do a strong texture-bias. We also find that shape-biased models show better generalization performance for monocular depth estimation compared to texture-biased models. Based on these observations, we newly design a CNN-Transformer hybrid network with a multi-level adaptive feature fusion module, called MonoFormer. The design intuition behind MonoFormer is to increase shape bias by employing Transformers while compensating for the weak locality bias of Transformers by adaptively fusing multi-level representations. Extensive experiments show that the proposed method achieves state-of-the-art performance with various public datasets. Our method also shows the best generalization ability among the competitive methods.

연구 동기 및 목표

• 자신의 학습 중에 볼 수 없었던 다양한 데이터셋에 대해 자기지도 학습 단안 깊이 추정 모델의 일반화 성능을 조사하기 위해.
• 텍스처 편향 대비 형태 편향 표현이 모델의 일반화에 어떤 영향을 미치는지 분석하기 위해.
• 깊이 추정에서 CNN(텍스처 편향)과 Transformer(형태 편향) 간의 상호 보완적 특성 간의 상충 관계를 이해하기 위해.
• 형태 편향을 강화하면서 Transformer의 약한 국소 인덕티브 편향을 보완할 수 있는 하이브리드 아키텍처를 설계하기 위해.
• 다양한 공개 벤치마크에서 최고 성능과 강력한 일반화 능력을 달성하기 위해.

제안 방법

• 저자들은 학습 기간 동안 볼 수 없었던 다양한 분포를 가진 데이터셋에서 최신 기술 모델을 평가하였다.
• 모델이 텍스처와 형태 신호에 얼마나 의존하는지 조사하기 위해 데이터셋의 텍스처를 이동시킨 버전을 생성하였다.
• 다양한 수용 영역 스케일에서 CNN과 Transformer 특징을 융합하기 위한 다중 수준 적응형 특징 융합 모듈을 도입하였다.
• 하이브리드 네트워크인 MonoFormer은 국소 특징 학습을 위해 CNN을, 전역적 맥락 모델링을 위해 Transformer를 통합하였다.
• 적응형 융합 메커니즘은 공간적 및 채널 기반의 관련성에 따라 특징을 동적으로 가중하였다.
• 이미지 재구성 및 깊이 일관성 목표를 사용하여 자기지도 학습 방식으로 모델을 훈련시켰다.

실험 결과

연구 질문

• RQ1 자기지도 학습 단안 깊이 추정에서 다양한 백본 아키텍처(CNN, Transformer, 하이브리드)는 어떻게 볼 수 없는 데이터셋에 일반화되는가?
• RQ2 텍스처 편향 및 형태 편향 표현은 일반화 성능에 얼마나 큰 영향을 미치는가?
• RQ3 CNN-Transformer 하이브리드 아키텍처는 형태 편향과 국소 인덕티브 편향을 균형 있게 조절함으로써 일반화를 향상시킬 수 있는가?
• RQ4 적응형 다중 수준 특징 융합은 깊이 추정 성능과 내구성에 어떻게 기여하는가?
• RQ5 형태 편향을 증가시키면 자기지도 학습 깊이 추정에서 일반화 능력이 향상되는가?

주요 결과

• 텍스처 이동 데이터셋 평가를 통해 Transformer는 강한 형태 편향을, CNN은 강한 텍스처 편향을 보임을 확인하였다.
• 형태 편향 모델은 텍스처 편향 모델보다 분포가 다른 데이터셋에서 훨씬 더 우수한 일반화 성능을 보였다.
• 제안된 MonoFormer은 KITTI, Cityscapes, NYU Depth v2를 포함한 다양한 공개 벤치마크에서 최고 성능을 기록하였다.
• 다양하고 볼 수 없는 데이터셋에서 경쟁 모델들 중에서 MonoFormer이 가장 뛰어난 일반화 능력을 보였다.
• 다중 수준 적응형 특징 융합 메커니즘은 Transformer의 전역 맥락과 CNN의 국소 인덕티브 편향을 효과적으로 균형 잡는 데 기여하였다.
• 제거 분석을 통해 형태 편향을 증가시키면 일반화 능력이 향상됨을 확인하였으며, 이는 MonoFormer 설계 철학의 타당성을 입증하였다.