[논문 리뷰] Content-Aware Inter-Scale Cost Aggregation for Stereo Matching

Chengtang Yao, Yunde Jia외 3명|arXiv (Cornell University)|2020. 06. 05.

Advanced Vision and Imaging참고 문헌 37인용 수 5

한 줄 요약

이 논문은 스테레오 매칭을 위한 콘텐츠 인식형 상호 스케일 비용 집계 방법을 제안하며, 왼쪽 및 오른쪽 시야에서 동적 필터 가중치를 학습하여 스케일 간에 적응적으로 비용 볼륨을 업샘플링하고 집계함으로써 뛰어난 세부 사항 복구를 가능하게 한다. 공간적 관계를 명시적으로 인코딩하고 3D 집계를 2D 및 1D 연산으로 분해함으로써 계산량을 감소시키면서도 Scene Flow, KITTI2015 및 Middlebury 데이터셋에서 최신 기법들을 능가한다.

ABSTRACT

Cost aggregation is a key component of stereo matching for high-quality depth estimation. Most methods use multi-scale processing to downsample cost volume for proper context information, but will cause loss of details when upsampling. In this paper, we present a content-aware inter-scale cost aggregation method that adaptively aggregates and upsamples the cost volume from coarse-scale to fine-scale by learning dynamic filter weights according to the content of the left and right views on the two scales. Our method achieves reliable detail recovery when upsampling through the aggregation of information across different scales. Furthermore, a novel decomposition strategy is proposed to efficiently construct the 3D filter weights and aggregate the 3D cost volume, which greatly reduces the computation cost. We first learn the 2D similarities via the feature maps on the two scales, and then build the 3D filter weights based on the 2D similarities from the left and right views. After that, we split the aggregation in a full 3D spatial-disparity space into the aggregation in 1D disparity space and 2D spatial space. Experiment results on Scene Flow dataset, KITTI2015 and Middlebury demonstrate the effectiveness of our method.

연구 동기 및 목표

• 粗모드 처리 중에 손실된 세밀한 세부 정보를 복구하지 못하는 고정형 업샘플링 방법의 한계를 해결하기 위해.
• 단일 시야 가이던스에 의존하는 것보다 왼쪽 및 오른쪽 시야 특징을 모두 활용하여 콘텐츠 인식형 가중치 학습을 통해 비용 집계 품질을 향상시키기 위해.
• 3D 비용 볼륨 집계의 계산 비용을 줄이기 위해 전체 3D 연산을 분리 가능한 2D 및 1D 구성요소로 분해하기 위해.
• 스테레오 시야 유사성 기반으로 동적이고 콘텐츠 적응형 필터 가중치를 학습시켜 업샘플링 중에 신뢰할 수 있는 세부 정보 복구를 가능하게 하기 위해.

제안 방법

• 이 방법은 서로 다른 스케일에서 왼쪽 및 오른쪽 시야의 쌍체 특징 맵을 사용하여 콘텐츠 인식형 필터 가중치를 학습하며, 특징 맵 이동 및 위치 맵을 통해 공간적 관계를 명시적으로 인코딩한다.
• 큰 수신장의 컨볼루션 대신, 이동된 특징 맵과 위치 맵을 연결하여 1×1 컨볼루션 레이어의 입력으로 사용함으로써 공간적 관계를 명시적으로 인코딩한다.
• 3D 비용 볼륨 집계를 2D 공간 유사도 학습과 1D 디스parity 기반 워핑으로 분해하는 새로운 분해 전략을 도입하여 메모리 및 계산 비용을 크게 감소시킨다.
• 직접 3D 가중치 학습을 피하기 위해, 디스파리 인식 워핑을 사용하여 학습된 2D 유사도에서 온디맨드로 3D 필터 가중치를 구성한다.
• 기존 방법이 깊거나 큰 커널을 요구하는 것과는 달리, 이 방법은 가중치 생성에 오직 1×1 컨볼루션만을 사용하여 효율성을 향상시킨다.
• 이 방법은 PSMNet 기반 프레임워크에 통합되어 표준 디컨볼루션 또는 인터폴레이션 대신 학습된, 적응형 업샘플링으로 대체된다.

실험 결과

연구 질문

• RQ1 스테레오 시야 쌍을 효과적으로 활용하여 상호 스케일 비용 집계를 위한 콘텐츠 인식형 가중치를 학습시킬 수 있는가? 이는 단일 시야 가이던스보다 세부 정보 복구를 향상시킬 수 있는가?
• RQ2 왼쪽 및 오른쪽 시야의 픽셀 간 공간적 관계를 명시적으로 인코딩하는 것이 큰 수신장에 의존하는 암시적 인코딩보다 성능과 효율성 면에서 우수한가?
• RQ3 정확도를 손상시키지 않고 3D 비용 볼륨 집계를 2D 및 1D 연산으로 효율적으로 분해할 수 있는가?
• RQ4 고정된 가중치 업샘플링(예: 양선형 또는 디컨볼루션)과 비교할 때, 제안된 방법이 디스파리 추정에서 세밀한 세부 정보를 얼마나 잘 유지하는가?

주요 결과

• Middlebury-v3 데이터셋에서 제안된 방법은 비교된 모든 방법 중 최고 성능을 기록하였으며, EPE 지표에서 59.7%의 오차율을 기록하여 PSMNet-ROB(67.3%) 및 DeepPruner-ROB(57.1%)를 앞서나갔다.
• 계산 비용을 크게 감소시켰다: 정확도가 더 높음에도 불구하고, 0.28 GFLOPs의 추론 비용을 기록하여 PSMNet-ROB(0.64 GFLOPs) 및 AMNet(0.4 GFLOPs)보다 낮았다.
• KITTI2015에서 EPE 지표에서 13.7%의 오차율을 기록하여 PSMNet-ROB(23.5%) 및 DeepPruner-ROB(15.9%)를 능가하며 정확도 향상을 입증했다.
• Middlebury-v3에서의 시각화 결과는 특히 다른 방법이 텍스처 및 에지 구조를 유지하지 못하는 빨간 박스 영역에서 뚜렷한 세밀한 세부 정보 복구 우수성을 보였다.
• 절단 실험 결과는 명시적 공간 인코딩과 스테레오 시야 기반 가중치 학습의 효과성을 확인하였으며, 암시적 인코딩 및 단일 시야 가이던스 대비 뚜렷한 성능 향상을 보였다.