[논문 리뷰] Parallax Attention for Unsupervised Stereo Correspondence Learning

Longguang Wang, Yulan Guo외 5명|arXiv (Cornell University)|2020. 09. 16.

Advanced Vision and Imaging참고 문헌 70인용 수 7

한 줄 요약

이 논문은 고정된 최대 역산도를 필요로 하지 않고, 에피포라라인 제약 조건과 주의 기반 특징 매칭을 사용하여 큰 역산도 변화에 견딜 수 있는 일반적인 파라렐랙스 주의 메커니즘(PAM)을 제안한다. PAM은 비지도 스테레오 매칭(PASMnet)과 스테레오 이미지 초해상도 증강(PASSRnet)에서 최신 기술 수준의 성능을 달성하며, 훈련 및 평가를 지원하기 위해 새로운 대규모 데이터셋인 Flickr1024를 제공한다.

ABSTRACT

Stereo image pairs encode 3D scene cues into stereo correspondences between the left and right images. To exploit 3D cues within stereo images, recent CNN based methods commonly use cost volume techniques to capture stereo correspondence over large disparities. However, since disparities can vary significantly for stereo cameras with different baselines, focal lengths and resolutions, the fixed maximum disparity used in cost volume techniques hinders them to handle different stereo image pairs with large disparity variations. In this paper, we propose a generic parallax-attention mechanism (PAM) to capture stereo correspondence regardless of disparity variations. Our PAM integrates epipolar constraints with attention mechanism to calculate feature similarities along the epipolar line to capture stereo correspondence. Based on our PAM, we propose a parallax-attention stereo matching network (PASMnet) and a parallax-attention stereo image super-resolution network (PASSRnet) for stereo matching and stereo image super-resolution tasks. Moreover, we introduce a new and large-scale dataset named Flickr1024 for stereo image super-resolution. Experimental results show that our PAM is generic and can effectively learn stereo correspondence under large disparity variations in an unsupervised manner. Comparative results show that our PASMnet and PASSRnet achieve the state-of-the-art performance.

연구 동기 및 목표

• 다양한 카메라 기준거리, 초점거리, 해상도로 인한 큰 역산도 변화를 다루는 데 어려움이 있는 스테레오 매칭 문제를 해결하기 위해.
• 비용 볼륨 기반 방법에서 고정된 최대 역산도로 인해 다양한 스테레오 이미지 쌍에서 성능이 저하되는 한계를 극복하기 위해.
• 에피포라 기하학과 특징 주의를 통합하여 정확한 스테레오 대응을 위한 일반적이고 컴act한 주의 메커니즘을 개발하기 위해.
• 제안된 방법을 스테레오 매칭 및 스테레오 이미지 초해상도 증강과 같은 다양한 작업으로 확장하여 최신 기술 수준의 성능를 달성하기 위해.

제안 방법

• 행렬 곱셈을 사용하여 이동 연산을 대체함으로써, 에피포라 라인을 따라 특징 유사도를 계산하는 파라렐랙스 주의 메커니즘(PAM)을 제안한다.
• 에피포라 제약 조건을 주의 메커니즘에 통합하여 왼쪽 및 오른쪽 이미지 간에 가장 유사한 특징에 집중함으로써, 큰 역산도에서도 강건한 매칭을 가능하게 한다.
• 부드러움 및 사이클 일致성 손실을 통해 주의 맵에 직접 정규화를 적용하여, 역산도 회귀에서의 모호함을 방지한다.
• PAM을 활용하여 비지도 스테레오 매칭을 위한 PASMnet과 스테레오 이미지 초해상도 증강을 위한 PASSRnet을 구축하며, 모두 지도 없는 방식으로 훈련된다.
• 훈련 및 평가를 위해 다양한 장면과 역산도를 포함하는 1024개의 고품질 스테레오 쌍을 포함한 새로운 대규모 데이터셋인 Flickr1024을 도입한다.
• 명시적인 역산도 회귀를 피하기 위해 행렬 연산을 활용함으로써, 하드코딩된 역산도 범위 제한 없이 엔드 투 엔드 학습이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 딥 러닝 방법이 고정된 최대 역산도에 의존하지 않고도 큰 역산도 변화에 견딜 수 있는 스테레오 대응을 학습할 수 있는가?
• RQ2 에피포라 기하학을 주의 메커니즘과 통합할 경우, 비지도 환경에서 스테레오 매칭 정확도가 어떻게 향상되는가?
• RQ3 제안된 파라렐랙스 주의 메커니즘이 스테레오 매칭 및 초해상도와 같은 다양한 스테레오 비전 작업으로 일반화될 수 있는가?
• RQ4 고정된 역산도 범위가 없는 것이 극단적인 역산도를 가진 스테레오 이미지 쌍에서 성능 향상에 얼마나 기여하는가?
• RQ5 기존의 비용 볼륨 기반 접근법과 비교할 때, 제안된 방법은 효율성, 정확도, 다양한 카메라 설정에 대한 일반화 능력 측면에서 어떻게 다른가?

주요 결과

• 작은 깊이를 가진 스테레오 이미지 쌍에서 PASSRnet은 PSNR 39.03 dB를 달성하여 StereoSR 대비 1.43 dB 높은 성능를 보였다.
• 큰 기준거리 스테레오 쌍에서 PASSRnet은 StereoSR 대비 PSNR를 1.30 dB 향상시켜 큰 역산도에 대한 강건성을 입증했다.
• KITTIDataset에서 PASMnet은 비지도 스테레오 매칭 분야에서 최신 기술 수준의 성능를 달성하였으며, 기준 방법 대비 PSNR에서 1.20 dB 향상되었다.
• PASSRnet는 계산 비용을 줄이고 저해상도 이미지에 대한 불필요한 패딩을 방지하여 StereoSR 대비 높은 효율성을 보였다.
• 제안된 Flickr1024 데이터셋은 다양한 장면 유형과 역산도 범위를 지원하여 효과적인 훈련 및 평가를 가능하게 했다.
• 제안된 추론 실험 결과는 전통적인 역산도 회귀 방식보다 주의 맵에 직접 정규화를 적용함으로써 비용 분포의 모호함을 줄이고 성능 향상을 이룬다는 것을 확인했다.