[논문 리뷰] Multi-Frame Self-Supervised Depth with Transformers

Vitor Guizilini, Rareş Ambruş외 3명|arXiv (Cornell University)|2022. 04. 15.

Advanced Vision and Imaging인용 수 7

한 줄 요약

이 논문은 깊이 이산화된 에피포일 샘플링과 자기 및 크로스 어텐션 메커니즘을 통해 특징 매칭을 개선하는 트랜스포머 기반 아키텍처인 DepthFormer을 제안한다. 이는 다중 프레임 자기지도 학습 단안 깊이 추정에서 성능을 향상시키며, KITTI와 DDAD에서 최신 기술 수준의 성능을 달성한다. 또한, 다양한 데이터셋 간에 일반화 가능한 어텐션 기반 표현을 제공한다.

ABSTRACT

Multi-frame depth estimation improves over single-frame approaches by also leveraging geometric relationships between images via feature matching, in addition to learning appearance-based features. In this paper we revisit feature matching for self-supervised monocular depth estimation, and propose a novel transformer architecture for cost volume generation. We use depth-discretized epipolar sampling to select matching candidates, and refine predictions through a series of self- and cross-attention layers. These layers sharpen the matching probability between pixel features, improving over standard similarity metrics prone to ambiguities and local minima. The refined cost volume is decoded into depth estimates, and the whole pipeline is trained end-to-end from videos using only a photometric objective. Experiments on the KITTI and DDAD datasets show that our DepthFormer architecture establishes a new state of the art in self-supervised monocular depth estimation, and is even competitive with highly specialized supervised single-frame architectures. We also show that our learned cross-attention network yields representations transferable across datasets, increasing the effectiveness of pre-training strategies. Project page: https://sites.google.com/tri.global/depthformer

연구 동기 및 목표

• 자기지도 학습 단안 깊이 추정을 향상시키기 위해 어텐션 메커니즘을 활용해 다중 프레임 특징 매칭을 개선한다.
• 기존의 유사도 기반 비용 볼륨 생성 방식의 한계를 해결한다. 예를 들어, 무문자나 동적인 영역로 인한 모호성과 국소 최소값 문제를 해결한다.
• 기하학적으로 기반을 두고 있는 어텐션 메커니즘을 개발하여 매칭 확률을 정밀하게 보정함으로써 더 나은 깊이 예측을 가능하게 한다.
• 학습된 매칭 함수의 이식성을 데이터셋 간에 보장하여 사전 훈련의 효율성과 수렴 속도를 향상시킨다.
• 정답 깊이 또는 명시적 지도 없이도 최신 기술 수준의 성능을 달성한다.

제안 방법

• 이 방법은 타겟 이미지와 컨텍스트 이미지 특징 간의 후보 매칭을 생성하기 위해 깊이 이산화된 에피포일 샘플링을 사용한다.
• 새로운 트랜스포머 기반 모듈이 자기 및 크로스 어텐션을 적용하여 픽셀별 매칭 확률을 정밀하게 보정하며, 기존의 유사도 기반 지표를 초월한다.
• 정밀화된 비용 볼륨은 고반응 창 필터링을 통해 깊이 맵으로 디코딩되며, 단일 프레임 특징과 병합되어 강건성을 향상시킨다.
• 전체 파ip라인은 비디오 시퀀스에서의 광학 재구성 손실만을 사용해 엔드 투 엔드로 훈련된다.
• 어텐션 메커니즘은 기하학적으로 기반을 두어, 어려운 시나리오에서 대응 정확도를 향상시킨다.
• 모델은 다중 프레임 기하학적 정보와 단일 프레임 외관 특징을 모두 활용하여, 동적 물체나 운동이 없는 경우와 같은 실패 케이스를 처리한다.

실험 결과

연구 질문

• RQ1 자기 및 크로스 어텐션 메커니즘이 다중 프레임 자기지도 학습 깊이 추정에서 특징 매칭 신뢰도를 향상시키는가?
• RQ2 트랜스포머 기반의 비용 볼륨 정밀화가 기존의 유사도 기반 방법보다 더 나은 깊이 예측을 가능하게 하는가?
• RQ3 학습된 어텐션 기반 매칭 함수는 다양한 데이터셋 간에 효과적으로 이식 가능한가?
• RQ4 자기지도 학습 다중 프레임 방법이 얼마나 뛰어난 성능을 내는가? 특히 지도 학습 단일 프레임 아키텍처와 비교해 볼 때.
• RQ5 단일 프레임 특징의 통합이 저신뢰도 또는 모호한 영역에서 강건성을 어떻게 향상시키는가?

주요 결과

• DepthFormer은 자기지도 학습 단안 깊이 추정에서 KITTI 및 DDAD 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 기존의 자기지도 학습 다중 프레임 방법을 초월하며, BTS와 같은 몇몇 지도 학습 단일 프레임 아키텍처를 뛰어넘는 성능을 기록한다.
• KITTI에서 이 방법은 해상도 640×192에서 BTS와 유사한 성능을 내며, 해상도 1216×352에서는 이를 초월한다.
• 학습된 어텐션 기반 매칭 함수는 데이터셋 간 강력한 이식성을 보이며, 사전 훈련 시 수렴 속도를 높이고 메모리 사용량을 줄인다.
• 정성적 결과는 지도 없이도 저조도나 무문자 영역에서도 정확한 포인트 클러스터 및 깊이 맵 재구성을 보여준다.
• 이 방법은 저신뢰도 영역(예: 하늘, 가림 영역)을 효과적으로 마스킹하고, 단일 프레임 특징과의 맥락 기반 융합을 통해 복구한다.