[논문 리뷰] Learning for Disparity Estimation through Feature Constancy

Zhengfa Liang, Yiliu Feng외 6명|arXiv (Cornell University)|2017. 12. 04.

Advanced Vision and Imaging참고 문헌 27인용 수 31

한 줄 요약

이 논문은 특징 추출, 비용 계산, 차원 추정, 보정을 포함한 네 가지 단계를 하나의 엔드 투 엔드 네트워크로 통합하는 통합된 딥 러닝 프레임워크를 제안한다. 특징 일관성(feature constancy)을 도입함으로써 특징 상관관계와 재구성 오차를 결합하여 효과적인 차원 보정을 가능하게 하였으며, KITTI 2012 및 KITTI 2015에서 최고 성능을 기록하였고, 단일 GPU에서 0.12초의 매우 빠른 추론 시간을 확보하였다.

ABSTRACT

Stereo matching algorithms usually consist of four steps, including matching cost calculation, matching cost aggregation, disparity calculation, and disparity refinement. Existing CNN-based methods only adopt CNN to solve parts of the four steps, or use different networks to deal with different steps, making them difficult to obtain the overall optimal solution. In this paper, we propose a network architecture to incorporate all steps of stereo matching. The network consists of three parts. The first part calculates the multi-scale shared features. The second part performs matching cost calculation, matching cost aggregation and disparity calculation to estimate the initial disparity using shared features. The initial disparity and the shared features are used to calculate the feature constancy that measures correctness of the correspondence between two input images. The initial disparity and the feature constancy are then fed to a sub-network to refine the initial disparity. The proposed method has been evaluated on the Scene Flow and KITTI datasets. It achieves the state-of-the-art performance on the KITTI 2012 and KITTI 2015 benchmarks while maintaining a very fast running time.

연구 동기 및 목표

• 일반적인 CNN 기반 스테레오 매칭 방법이 매칭 비용 계산, 집계, 차원 계산, 보정을 별도의 단계로 다루기 때문에 최적의 성능을 내지 못하고 효율성이 떨어지는 문제를 해결하기 위해.
• 특히 지도 학습이 불가능한 영역인 가림 영역이나 하늘, 먼 거리에 있는 물체와 같은 도전적인 영역에서의 차원 추정 정확도를 향상시키기 위해.
• 차원 보정을 특징 일관성으로 구현한 통합 네트워크 아키텍처를 도입하여 스테레오 매칭의 모든 단계를 공동 최적화할 수 있도록 하기 위해.
• 특히 지도 학습이 불가능한 영역에서 일반화 능력과 강인성을 향상시키기 위해.
• 기준 데이터셋에서 최고 성능을 달성하면서도 높은 계산 효율성을 유지하기 위해.

제안 방법

• 네트워크는 공유 백본을 사용하여 스테레오 이미지 쌍에서 다중 척도 공유 특징을 추출한다.
• 차원 추정 네트워크(DES-net)는 공유 특징에서 유도된 집계된 매칭 비용을 사용하여 초도 차원을 계산한다.
• 특징 일관성은 두 가지 구성 요소로 계산된다: (1) 차원에 따른 특징 상관관계를 통해 대응 품질을 평가하고, (2) 초도 차원을 사용하여 특징 공간에서의 재구성 오차를 측정하여 일관성을 측정한다.
• 보정 서브넷은 초도 차원과 특징 일관성을 입력으로 받아 보정된 차원 맵을 예측한다.
• 전체 네트워크는 엔드 투 엔드로 훈련되어 차원 추정과 보정의 공동 최적화가 가능하다.
• 보정 과정은 상관관계와 재구성 오차를 모두 활용하여 학습을 안정화시키고 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 특징 추출, 비용 계산, 차원 추정, 보정을 포함한 스테레오 매칭의 네 단계를 통합된 딥 러닝 프레임워크로 공동 최적화할 수 있는가? 이는 성능 향상으로 이어지는가?
• RQ2 상관관계와 재구성 오차를 조합한 특징 일관성은 히우리스틱 또는 별도의 보정 네트워크보다 차원 보정을 얼마나 효과적으로 이끄는가?
• RQ3 제안된 방법은 지도 레이블이 없는 도전적인 영역(예: 하늘, 가림 영역)에 대해 잘 일반화되는가?
• RQ4 특징 일관성의 통합은 기존 최고 성능 방법에 비해 KITTI 벤치마크에서 정확도와 효율성을 향상시키는가?
• RQ5 KITTI 2012 및 KITTI 2015에서 뛰어난 정확도를 달성하면서도 매우 빠른 추론 속도를 유지할 수 있는가?

주요 결과

• 제안된 방법은 KITTI 2012 및 KITTI 2015 벤치마크에서 최고 성능을 기록하였으며, 미세 조정 없이 테스트한 결과 KITTI 2015에서 D1-all 오차는 2.19%, KITTI 2012에서 3.62%를 기록하였다.
• 두 번의 보정 반복을 수행하는 iResNet 모델은 KITTI 2015에서 D1-all 오차를 2.19%로 줄였고, KITTI 2012에서는 3.62%로, CRL 및 DispNetC를 포함한 모든 비교 방법을 능가하였다.
• 단일 Nvidia Titan X (Pascal) GPU에서 이미지당 추론 시간이 단 0.12초로 매우 빠르며, 이는 매우 높은 효율성을 의미한다.
• KITTI 2015에서 KITTI 2012로의 성능 저하 폭은 1.18%포인트에 불과하여, CRL(2.15) 및 DispNetC(5.3)에 비해 훨씬 낮아 강력한 일반화 능력을 보여준다.
• 정성적 결과에서는 다른 방법이 실패하는 하늘 및 먼 거리의 물체와 같은 도전적인 영역에서도 더 부드러운 차원 맵을 생성하고 세부 정보를 더 잘 유지하는 것으로 나타났다.
• 특징 일관성을 기반으로 한 보정 서브넷은 초도 차원 추정을 지속적으로 향상시키며, iResNet-i2 모델을 사용할 경우 KITTI 2015에서 EPE가 3.25에서 2.44로 감소하였다.