[논문 리뷰] MonoViT: Self-Supervised Monocular Depth Estimation with a Vision Transformer

Chaoqiang Zhao, Youmin Zhang외 7명|arXiv (Cornell University)|2022. 08. 06.

Advanced Vision and Imaging인용 수 6

한 줄 요약

MonoViT는 컨volution 신경망(CNNs)과 비전 트랜스포머(ViTs)를 결합하여 국소적이고 전역적인 이미지 맥락을 동시에 모델링하는 자기지도 학습 기반 단안 깊이 추정 프레임워크를 제안한다. 트랜스포머의 전역 수용 영역과 CNN의 국소적 특징 추출 능력을 활용함으로써, KITTI에서 최고 성능을 기록하고, Make3D 및 DrivingStereo 데이터셋에서 뛰어난 일반화 성능을 확보한다.

ABSTRACT

Self-supervised monocular depth estimation is an attractive solution that does not require hard-to-source depth labels for training. Convolutional neural networks (CNNs) have recently achieved great success in this task. However, their limited receptive field constrains existing network architectures to reason only locally, dampening the effectiveness of the self-supervised paradigm. In the light of the recent successes achieved by Vision Transformers (ViTs), we propose MonoViT, a brand-new framework combining the global reasoning enabled by ViT models with the flexibility of self-supervised monocular depth estimation. By combining plain convolutions with Transformer blocks, our model can reason locally and globally, yielding depth prediction at a higher level of detail and accuracy, allowing MonoViT to achieve state-of-the-art performance on the established KITTI dataset. Moreover, MonoViT proves its superior generalization capacities on other datasets such as Make3D and DrivingStereo.

연구 동기 및 목표

• 자기지도 학습 기반 단안 깊이 추정에서 컨volution 신경망(CNNs)의 제한된 수용 영역으로 인해 장거리 의존성을 모델링하는 데 어려움이 있음을 해결한다.
• 기존 CNN 기반 모델의 국소적 추론 한계를 극복하기 위해 비전 트랜스포머(ViTs)를 통합하여 전역 맥락 모델링을 가능하게 한다.
• 깊이 예측 정확도 향상과 세밀한 디테일 복원을 위해 CNN과 트랜스포머의 장점을 결합한 하이브리드 백본 아키텍처를 개발한다.
• KITTI, Make3D, DrivingStereo와 같은 다양한 데이터셋에서 제안된 모델의 뛰어난 일반화 성능을 입증한다.
• 정답 깊이 레이블이 필요 없이 단안 영상 데이터만을 사용하여 자기지도 학습 기반 단안 깊이 추정에서 새로운 최고 성능을 수립한다.

제안 방법

• 국소적이고 전역적인 이미지 표현을 동시에 캡처하기 위해 일반적인 컨볼루션 레이어와 비전 트랜스포머(ViTs)의 멀티헤드 자기주의 블록을 통합한 하이브리드 인코더 아키텍처인 MonoViT를 설계한다.
• 이중 경로 특징 추출 메커니즘을 적용: CNN 경로는 국소적 디테일 학습을 위해, 트랜스포머 경로는 이미지 전반의 장거리 공간적 의존성을 모델링하기 위해 사용한다.
• CNN 및 트랜스포머 경로의 출력을 다중 스케일에서 융합할 수 있도록 '국소-전역 특징 융합 레이어'를 통합한다.
• 단안 영상 시퀀스의 이미지 재투영 손실을 자기지도 학습 신호로 활용하여, 연속 프레임 간 기하학적 제약 조건을 기반으로 깊이 예측을 지도한다.
• 다중 스케일 지도 및 스케포넥션을 디코더에 적용하여 특징 정제를 향상시키고 세밀한 수준의 예측 정확도를 향상시킨다.
• 백본을 ImageNet에서 사전 학습하고, 단안 영상 데이터 기반 자기지도 대비 학습을 통해 전체 모델을 엔드 투 엔드로 미세조정한다.

실험 결과

연구 질문

• RQ1 하이브리드 CNN-Transformer 인코더 아키텍처는 자기지도 학습 기반 단안 깊이 추정에서 국소적 및 전역적 맥락 모델링을 가능하게 함으로써 깊이 추정 정확도 향상에 기여하는가?
• RQ2 자기지도 학습 기반 깊이 추정 네트워크의 백본에 비전 트랜스포머(ViTs)를 통합함으로써 순수 CNN 기반 모델 대비 다양한 데이터셋에서 더 나은 일반화 성능을 달성하는가?
• RQ3 트랜스포머의 전역 수용 영역은 CNN이 장거리 의존성과 세밀한 구조적 디테일을 포착하는 데서 겪는 한계를 어떻게 완화하는가?
• RQ4 최종 성능에 있어 CNN 경로, 트랜스포머 경로, 그리고 주의 블록의 상대적 기여도는 어떠한가?
• RQ5 제안된 MonoViT 모델은 KITTI, Make3D, DrivingStereo와 같은 벤치마크 데이터셋에서 기존 최고 성능(SoTA) 모델보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• MonoViT는 KITTI 벤치마크에서 새로운 최고 성능을 기록하였으며, 절대적 상대 오차(Abs Rel)가 0.099로 이전의 모든 CNN 기반 및 트랜스포머 기반 모델을 능가한다.
• Make3D 데이터셋에서 MonoViT는 CADepth와 DIFFNet보다 높은 정확도를 확보하였으며, Abs Rel(0.099)가 낮고 δ1, δ2, δ3 지표가 향상되었다.
• 절단 실험에서 CNN 경로를 제거하면 성능이 크게 저하되며(Abs Rel이 0.114로 증가함), 이는 세밀한 디테일을 유지하는 데서 CNN 경로의 핵심적 역할을 확인한다.
• 절단 실험 결과, 트랜스포머 경로의 기여도도 뚜렷하게 드러나며, 제거 시 Abs Rel이 0.127로 상승하여 전역 맥락 모델링의 필수성을 입증한다.
• 디코더 내 주의 블록은 매우 중요하며, 제거 시 Abs Rel이 0.101로 증가하고 δ1이 0.900에서 0.898로 감소함으로써 깊이 예측을 정교화하는 데 기여한다.
• DrivingStereo 데이터셋에서 MonoViT는 기존 SoTA 모델보다 더 우수한 일반화 성능을 보였으며, Abs Rel(0.099)는 낮고 δ1(0.900)는 높아 도전적인 실세계 환경에서도 강력한 내구성을 확보하였다.