[논문 리뷰] Attention Concatenation Volume for Accurate and Efficient Stereo Matching

Gangwei Xu, Junda Cheng외 2명|arXiv (Cornell University)|2022. 03. 04.

Advanced Vision and Imaging인용 수 10

한 줄 요약

이 논문은 연결 볼륨에서 중복 콘텐츠를 필터링하기 위해 상관관계 기반의 주의 가중치를 사용하는 새로운 비용 볼륨 구축 방법인 주의 결합 볼륨(ACV)을 제안한다. 이는 3D 컨볼루션 집합의 부담을 크게 줄인다. 다중 수준 적응형 패치 매칭을 통합하여 유사도 측정의 정확성을 높이고, 경량의 집합 네트워크를 설계하여 GwcNet의 1/25에 불과한 파라미터로 최신 기준 성능을 달성한다. ACVNet은 KITTI 2012/2015에서 2위, Scene Flow에서 2위, ETH3D에서 3위를 기록하며 뛰어난 속도를 확보한다.

ABSTRACT

Stereo matching is a fundamental building block for many vision and robotics applications. An informative and concise cost volume representation is vital for stereo matching of high accuracy and efficiency. In this paper, we present a novel cost volume construction method which generates attention weights from correlation clues to suppress redundant information and enhance matching-related information in the concatenation volume. To generate reliable attention weights, we propose multi-level adaptive patch matching to improve the distinctiveness of the matching cost at different disparities even for textureless regions. The proposed cost volume is named attention concatenation volume (ACV) which can be seamlessly embedded into most stereo matching networks, the resulting networks can use a more lightweight aggregation network and meanwhile achieve higher accuracy, e.g. using only 1/25 parameters of the aggregation network can achieve higher accuracy for GwcNet. Furthermore, we design a highly accurate network (ACVNet) based on our ACV, which achieves state-of-the-art performance on several benchmarks.

연구 동기 및 목표

• 기존의 비용 볼륨 표현 방식에서의 비효율성과 중복성을 해결하기 위해, 특히 과도하게 필터링되지 않은 콘텐츠 정보를 포함하는 연결 볼륨에 초점을 맞춘다.
• 다양한 특징 수준에서 가변 크기의 패치와 학습된 적응형 가중치를 사용해, 무늬가 없는 영역에서의 유사도 측정 정확성을 향상시키기 위한 새로운 다중 수준 적응형 패치 매칭 전략을 제안한다.
• 상관관계 볼륨에서 유도된 주의 가중치를 사용해 연결 볼륨을 필터링함으로써, 비용 집합의 계산 부담을 줄인다.
• 다양한 스테레오 매칭 네트워크에 적용 가능한 일반적이고 플러그인 방식의 비용 볼륨 모듈(ACV)을 설계하여 정확성과 효율성을 향상시킨다.
• 최소한의 추론 비용으로 최신 기준 성능을 달성하며, 실제 세계 및 합성 벤치마크 전반에 걸쳐 뛰어난 일반화 성능을 입증한다.

제안 방법

• 좌우 특징 맵에서 초기 연결 볼륨을 구성하고, 상관관계 볼륨에서 유도된 주의 가중치를 적용하여 중복된 특징을 억제하는 주의 결합 볼륨(ACV)을 제안한다.
• 무늬가 없는 영역에서 특히 정확한 유사도 측정을 가능하게 하기 위해, 크기가 가변이고 학습된 적응형 가중치를 갖는 패치를 사용하는 다중 수준 적응형 패치 매칭 기법을 도입한다.
• 공간적으로 인지된 주의 가중치를 생성하기 위해 상관관계 볼륨을 핵심으로 삼아, 연결 볼륨 내에서 매칭에 관련된 영역을 강조함으로써 특징 필터링 정밀도를 향상시킨다.
• 기존의 무거운 3D 컨볼루션을 주의 기반 필터링으로 대체함으로써 경량 집합 네트워크를 설계하여, GwcNet 대비 최대 25배 감소한 파라미터 수를 확보한다.
• ACV를 중심으로 한 완전한 스테레오 매칭 네트워크인 ACVNet을 설계하였으며, 정확성과 속도를 최적화한 효율적인 백본 및 집합 모듈을 탑재하였다.
• 두 단계의 훈련 전략을 적용: 먼저 합성 데이터(Scene Flow)에서 주의 모듈을 사전 훈련하고, 이후 실제 데이터셋(KITTI, ETH3D)에서 미세 조정한다.

실험 결과

연구 질문

• RQ1 상관관계 볼륨에서 유도된 주의 메커니즘이 연결 기반 비용 볼륨 내의 중복 정보를 효과적으로 억제할 수 있는가?
• RQ2 다중 수준 적응형 패치 매칭이 무늬가 없거나 도전적인 영역에서의 유사도 측정 정확도를 향상시킬 수 있는가?
• RQ3 주의 강화 비용 볼륨과 결합된 경량 집합 네트워크가 최신 기준 성능을 달성할 수 있는가?
• RQ4 제안된 ACV 모듈이 합성 및 실제 세계 데이터셋을 포함한 다양한 스테레오 매칭 벤치마크에서 잘 일반화되는가?
• RQ5 ACV 기반 네트워크는 특히 실시간 응용에서 높은 정확도를 유지하면서 낮은 추론 지연을 달성할 수 있는가?

주요 결과

• ACVNet은 KITTI 2012 및 KITTI 2015 벤치마크에서 2위, Scene Flow에서 2위, ETH3D에서 3위를 기록하여 다양한 데이터셋 간 강력한 일반화 성능을 입증한다.
• GwcNet의 집합 네트워크 파라미터 수의 1/25만을 사용하여, GwcNet의 28개의 3D 컨볼루션을 갖춘 것보다 높은 정확도를 달성한다.
• GwcNet의 병합 볼륨을 ACV로 교체한 후, 단 4개의 3D 컨볼루션만으로도 GwcNet의 성능을 초월하며, 계산 비용을 크게 감소시킨다.
• KITTI 벤치마크에서 상위 10개 방법 중 가장 빠른 속도를 기록하며, 런타임이 단 0.2초로 높은 정확도를 확보한다.
• ACVNet-Fast는 실시간 성능에서 최신 기준을 달성하여, KITTI와 Scene Flow에서 기존 실시간 방법들보다 빠르고 정확도가 높다.
• Scene Flow에서 LEAStereo 대비 EPE를 38.4% 감소시켰고, 런타임은 33% 빠르게(0.2초 대비 0.3초) 구동되어 효율-정확도 균형에서 뛰어난 성능을 입증한다.