[논문 리뷰] Revisiting Stereo Depth Estimation From a Sequence-to-Sequence Perspective with Transformers

Zhaoshuo Li, Xingtong Liu외 5명|arXiv (Cornell University)|2020. 11. 05.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 트랜스포머를 사용하여 비용 볼륨 구축을 대체하는 순서에서 순서로의 매칭 작업으로 문제를 재구성함으로써 스테레오 깊이 추정을 수행하는 STTR를 제안한다. STTR는 상대적 위치 인코딩과 최적 운반 이론 기반 매칭을 활용한 자기 및 교차 어텐션을 통해 탄력적인 차이 범위 추정, 신뢰도 점수를 통한 막힘 감지, 유일성 제약 강제 등을 가능하게 하여 최소한의 파라미터로 최신 기술 수준의 성능을 달성하고, 훈련 없이도 강력한 제로샷 일반화 성능을 보인다.

ABSTRACT

Stereo depth estimation relies on optimal correspondence matching between pixels on epipolar lines in the left and right images to infer depth. In this work, we revisit the problem from a sequence-to-sequence correspondence perspective to replace cost volume construction with dense pixel matching using position information and attention. This approach, named STereo TRansformer (STTR), has several advantages: It 1) relaxes the limitation of a fixed disparity range, 2) identifies occluded regions and provides confidence estimates, and 3) imposes uniqueness constraints during the matching process. We report promising results on both synthetic and real-world datasets and demonstrate that STTR generalizes across different domains, even without fine-tuning.

연구 동기 및 목표

• 딥 러닝 기반 스테레오 깊이 추정에서 고정된 차이 범위 제약의 한계를 극복하기 위해.
• 유일성 및 막힘 감지와 같은 기하학적 제약 조건을 갖춘 밀도 있는 픽셀 대응을 엔드 투 엔드로 학습할 수 있도록 하기 위해.
• 후행 시나리오 이해를 향상시키기 위해 차이 예측에 대한 신뢰도 추정을 제공하기 위해.
• 세분화 없이도 다양한 도메인으로 일반화할 수 있는 메모리 효율적인 트랜스포머 기반 아키텍처를 개발하기 위해.
• 더 높은 내구성과 탄력성으로 인해 비용 볼륨 구축을 어텐션 기반의 밀도 있는 매칭으로 대체함으로써 성능 향상 및 유연성 향상을 위해.

제안 방법

• STTR는 왼쪽 및 오른쪽 스테레오 이미지에서 이미지 임베딩을 생성하기 위해 공유된 특징 추출기를 사용한다.
• 에피포일 라인을 가로질러 밀도 있고 명시적인 픽셀 단위 매칭을 계산하기 위해 교차 어텐션과 교차 어텐션을 번갈아 적용한 트랜스포머 인코더를 적용한다.
• 상대적 픽셀 거리 인코딩을 특징 서술자에 통합하여 매칭의 분별력을 향상시키고 모호함을 해결한다.
• 유일성 제약을 강제하기 위해 최적 운반 이론을 활용하여 동일한 3D 공간의 점에 여러 픽셀이 할당되는 것을 방지한다.
• 왼쪽 이미지의 맥락적 정보를 에피포일 라인을 따라 활용하여 원시 차이 예측을 정밀하게 조정하는 컨텍스트 조정 레이어를 적용한다.
• 메모리 효율적인 구현을 통해 어텐션 계산과 특징 해상도 최적화를 통해 표준 하드웨어에서도 훈련이 가능하게 한다.

실험 결과

연구 질문

• RQ1 순서에서 순서로의 트랜스포머 기반 접근 방식이 고정된 차이 범위 제약 조건을 완화하면서도 비용 볼륨 기반 방법보다 우수한 성능을 낼 수 있는가?
• RQ2 상대적 위치 인코딩을 갖춘 어텐션 메커니즘이 수작업으로 설계된 비용 볼륨을 효과적으로 대체할 수 있는가?
• RQ3 추가적인 감독 없이도 모델이 막힌 영역를 감지하고 신뢰도 점수를 제공할 수 있는가?
• RQ4 모델은 훈련 없이도 도메인 간 일반화(예: 합성 데이터에서 실세계 데이터로)가 가능한가?
• RQ5 트랜스포머 기반 아키텍처가 더 적은 파라미터와 낮은 메모리 사용량으로도 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• STTR는 도메인 특화된 토닝 없이도 Scene Flow, MPI Sintel, KITTI 2015, Middlebury 2014, SCARED 벤치마크에서 최신 기술 수준의 성능을 달성했다.
• 단지 합성 Scene Flow 데이터로만 훈련된 모델이 실세계 데이터셋인 KITTI 2015와 Middlebury 2014로도 효과적으로 일반화되었다.
• STTR는 Scene Flow에서 0.76 px, KITTI 2015에서 0.82 px의 중앙값 절대 오차를 기록하여 두 지표 모두 이전 방법을 능가했다.
• 모델은 오직 250만 개의 파라미터만을 사용하여 최소한의 파라미터로도 가장 효율적인 스테레오 네트워크 중 하나이며, LEAStereo와 같은 NAS 최적화 모델조차도 능가했다.
• PSMNet와 AANet보다 인프라 메모리 사용량이 현저히 낮았으며, 최대 차이 192인 960×576 이미지에서 STTR는 단지 3.8 GB의 메모리만을 요구했다.
• 최대 차이 192, 해상도 960×576에서 STTR는 5.77 Hz의 추론 속도를 기록했으며, 경량 버전의 경우 메모리 프로필은 2.0 GB였다.