[논문 리뷰] Adaptive Unimodal Cost Volume Filtering for Deep Stereo Matching

Youmin Zhang, Yimin Chen외 5명|arXiv (Cornell University)|2019. 09. 09.

Advanced Vision and Imaging참고 문헌 35인용 수 17

한 줄 요약

이 논문은 지도학습을 통해 진정한 차이(ground-truth disparity)에 중심을 둔 단일모드 분포를 직접적으로 비용 영역(cost volume)에 적용함으로써, 각 픽셀의 신뢰도(confidence)를 추정하여 매칭 불확실성을 모델링하는 새로운 딥 스테레오 매칭 프레임워크인 Adaptive Unimodal Cost Volume Filtering (AcfNet)을 제안한다. 스테레오 포칼 손실( Stereo Focal Loss)과 엔드 투 엔드 학습을 도입함으로써 AcfNet은 최신 기준 성능을 달성하여 KITTI 2012에서 1위, KITTI 2015에서 4위를 기록하였다.

ABSTRACT

State-of-the-art deep learning based stereo matching approaches treat disparity estimation as a regression problem, where loss function is directly defined on true disparities and their estimated ones. However, disparity is just a byproduct of a matching process modeled by cost volume, while indirectly learning cost volume driven by disparity regression is prone to overfitting since the cost volume is under constrained. In this paper, we propose to directly add constraints to the cost volume by filtering cost volume with unimodal distribution peaked at true disparities. In addition, variances of the unimodal distributions for each pixel are estimated to explicitly model matching uncertainty under different contexts. The proposed architecture achieves state-of-the-art performance on Scene Flow and two KITTI stereo benchmarks. In particular, our method ranked the $1^{st}$ place of KITTI 2012 evaluation and the $4^{th}$ place of KITTI 2015 evaluation (recorded on 2019.8.20). The codes of AcfNet are available at: https://github.com/DeepMotionAIResearch/DenseMatchingBenchmark.

연구 동기 및 목표

• 비용 영역의 과도한 제약이 없는 문제를 해결하기 위해, 직접적인 지도학습이 아닌 비디오 차이 회귀를 통한 간접적 지도학습이 비용 영역 품질을 떨어뜨리고 과적합을 유도한다는 점을 해결한다.
• 진정한 비디오 차이에 정점이 오는 단일모드 분포로 직접적으로 비용 영역을 모델링하여 매칭 신뢰도를 향상시킨다.
• 각 픽셀의 매칭 불확실성을 예측된 신뢰도 스코어를 통해 명시적으로 모델링하여, 단일모드 분포의 날카움 정도를 제어한다.
• 비용 영역에 새로운 스테레오 포칼 손실을 적용하고 엔드 투 엔드 학습을 통해 최신 기준 성능의 비디오 차이 추정 성능을 달성한다.

제안 방법

• 비용 영역 추출 및 집계 후, PSMNet 스타일의 아워글라스 백본을 사용하여 특징을 추출하고 세 개의 비용 영역을 생성한다.
• 신뢰도 추정 네트워크(CENet)가 각 픽셀의 신뢰도 스코어를 예측하여, 진정한 비디오 차이에 중심을 둔 단일모드 분포의 날카움 정도를 조절한다.
• 단일모드 비용 영역 레이블은 진정한 비디오 차이에 중심을 둔 가우시안 유사 분포로 구성되며, 예측된 신뢰도로 분산을 제어한다.
• 스테레오 포칼 손실이 비용 영역에 직접 적용되어, 네트워크가 정확한 비디오 차이에 날카운 분포를 생성하도록 유도한다.
• 필터링된 비용 영역에 대해 소프트 아르민(soft argmin)을 통해 비디오 차이를 추정하고, 엔드 투 엔드 최적화를 위한 표준 회귀 손실을 적용한다.
• 다중 스케일 특징 융합과 3D 잔차 블록을 사용하여 비용 집계를 수행하며, 공간 해상도를 유지하기 위해 디컨볼루션 스위프트 연결을 활용한다.

실험 결과

연구 질문

• RQ1 진정한 비디오 차이에 중심을 둔 단일모드 분포로 비용 영역을 직접 지도학습하면 스테레오 매칭 정확도가 향상되는가?
• RQ2 학습된 신뢰도 스코어를 통해 각 픽셀의 매칭 불확실성을 모델링하면 비용 영역 품질과 비디오 차이 추정에 어떤 영향을 미치는가?
• RQ3 비디오 차이 회귀를 통한 간접적 지도학습과 비교해 볼 때, 적응형 단일모드 분포로 비용 영역을 필터링함으로써 과적합이 감소하고 일반화 성능이 향상되는가?
• RQ4 제안된 스테레오 포칼 손실이 비용 영역 학습과 최종 비디오 차이 정확도에 어떤 영향을 미치는가?

주요 결과

• AcfNet은 KITTI 2012 스테레오 벤치마크에서 1위를 기록하였으며, 평가 당시(2019.8.20 기준) 모든 다른 방법들을 앞서는 성능을 보였다.
• KITTI 2015 벤치마크에서는 4위를 기록하여 다양한 실제 환경 스테레오 데이터셋에 대해 강력한 일반화 능력을 입증하였다.
• Scene Flow에서의 추론 분석을 통해 제안된 단일모드 필터링과 신뢰도 기반 조절이 비용 영역 품질과 비디오 차이 정확도를 크게 향상시킨다는 것이 확인되었다.
• 시각화 결과, AcfNet은 진정한 비디오 차이에 날카운 분포를 생성하는 반면, PSMNet과 같은 기준 모델은 종종 부적절한 국소 최소값을 보였다.
• 스테레오 포칼 손실의 사용은 특히 모호하거나 무늬가 없는 영역에서 더 견고한 비용 영역 학습을 가능케 하였다.