[논문 리뷰] Practical Stereo Matching via Cascaded Recurrent Network with Adaptive Correlation

Jiankun Li, Peisen Wang외 7명|arXiv (Cornell University)|2022. 03. 22.

Advanced Vision and Imaging인용 수 14

한 줄 요약

이 논문은 실생활 환경에서의 시차 추정을 향상시키기 위해 적응형 상관관계를 갖춘 계단식 순환 스테레오 매칭 네트워크인 CREStereo를 제안한다. 계층적 순환 정련, 스택형 계단식 추론, 적응형 그룹 상관관계 레이어를 사용함으로써, Middlebury 및 ETH3D 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 특히 미세한 세부 사항과 과제가 많은 질감 영역에서 이전 방법들보다 뚜렷하게 뛰어난 성능을 보였다.

ABSTRACT

With the advent of convolutional neural networks, stereo matching algorithms have recently gained tremendous progress. However, it remains a great challenge to accurately extract disparities from real-world image pairs taken by consumer-level devices like smartphones, due to practical complicating factors such as thin structures, non-ideal rectification, camera module inconsistencies and various hard-case scenes. In this paper, we propose a set of innovative designs to tackle the problem of practical stereo matching: 1) to better recover fine depth details, we design a hierarchical network with recurrent refinement to update disparities in a coarse-to-fine manner, as well as a stacked cascaded architecture for inference; 2) we propose an adaptive group correlation layer to mitigate the impact of erroneous rectification; 3) we introduce a new synthetic dataset with special attention to difficult cases for better generalizing to real-world scenes. Our results not only rank 1st on both Middlebury and ETH3D benchmarks, outperforming existing state-of-the-art methods by a notable margin, but also exhibit high-quality details for real-life photos, which clearly demonstrates the efficacy of our contributions.

연구 동기 및 목표

• 스마트폰과 같은 소비자 기기에서 촬영한 실생활 스테레오 이미지에서 정확한 시차 추정 문제를 해결한다.
• 기존 방법의 한계인 미세 구조 복원, 비이상적인 정렬, 어려운 씬에 대한 일반화 능력 향상을 도모한다.
• 새로운 훈련 데이터셋과 네트워크 아키텍처를 설계하여 얇은 구조, 질감이 없는 영역, 비균일 조명 조건에서의 성능을 향상시킨다.
• 공개 벤치마크에서 최신 기술 수준의 결과를 달성하면서도 실제 사진에서 높은 품질의 예측을 유지한다.

제안 방법

• 계층적 정련을 통해 계층적으로 정교화하는 계단식 순환 네트워크를 제안하여, 거친 단계에서 정밀한 단계로 시차를 반복적으로 개선한다.
• 다양한 수준의 컨텍스트를 특징 피라미드로부터 활용하여 고해상도 추론을 위한 스택형 계단식 아키텍처를 도입한다.
• 비이상적인 정렬로 인한 오차를 줄이기 위해 동적으로 상관관계 그룹을 조정하는 적응형 그룹 상관관계 레이어(AGCL)를 설계한다.
• 다양한 해상도의 특징을 계산하기 위해 단계 간에 공유된 가중치를 가진 특징 추출기를 사용한다.
• 컨텍스트 인식 특징을 활용하여 시차와 플로우 오프셋을 반복적으로 정밀화하는 순환 업데이트 모듈(RUM)을 적용한다.
• 실생활 환경에 더 잘 일반화하기 위해 다양한 조명, 질감, 형태를 포함한 새로운 합성 데이터셋을 구축한다.

실험 결과

연구 질문

• RQ1 계층적 정련을 갖춘 계단식 순환 네트워크는 미세 구조나 얇은 물체에서의 시차 추정 정확도를 향상시킬 수 있는가?
• RQ2 비이상적인 정렬로 인한 오차를 완화하는 데 있어 적응형 그룹 상관관계 레이어는 얼마나 효과적인가?
• RQ3 질감과 조명의 다양성이 향상된 합성 데이터셋은 실생활 환경에 대한 일반화 능력을 어느 정도 향상시킬 수 있는가?
• RQ4 제안된 아키텍처는 표준 벤치마크뿐 아니라 실제 스마트폰 사진에서도 기존 방법들을 능가하는가?
• RQ5 실생활 스테레오 데이터에서 블러, 색상 이동, 시각적 왜곡 등의 실용적 왜곡에 대해 이 방법은 얼마나 견고한가?

주요 결과

• CREStereo는 Middlebury 및 ETH3D 벤치마크에서 모두 최상위 순위를 기록하여 이전의 모든 최신 기술 수준 방법들을 능가한다.
• ETH3D 벤치마크에서 CREStereo는 400장의 스마트폰 촬영 영상에서 mxIoU 97.50%와 mxIoUbd 72.61%를 달성하였으며, RAFT-Stereo(94.58% 및 69.26%)보다 뚜렷하게 뛰어나다.
• KITTI 2012에서 CREStereo는 2픽셀 오차 기준으로 Out-Noc 정확도에서 LEAStereo를 9.47% 뛰어넘었다.
• Holopix50K에서의 정성적 결과는 고양이 콧수염과 와이어 메쉬와 같은 얇은 구조물과 질감이 없는 영역에서 뛰어난 성능을 보였다.
• ETH3D에서의 결과는 블러, 색상 변형, 공간 왜곡과 같은 실용적 왜곡에 대해 강력한 내성성을 입증하였다.
• 제안된 합성 데이터셋은 특히 질감이 없거나 반복적인 질감 영역에서 실생활 환경으로의 일반화 능력을 향상시켰다.