[논문 리뷰] Improved Stereo Matching with Constant Highway Networks and Reflective Confidence Learning

Amit Shaked, Lior Wolf|arXiv (Cornell University)|2016. 12. 31.

Advanced Vision and Imaging참고 문헌 22인용 수 11

한 줄 요약

이 논문은 다중 수준 스킵 연결을 갖춘 고정 게이트 히어라키컬 네트워크와 반사 손실을 사용하여 정확도 및 신뢰도 추정을 향상시키는 새로운 스테레오 매칭 파이프라인을 제안한다. 이 방법은 KITTI 2012 및 2015 벤치마크에서 최신 기술 수준의 성능을 달성하며, 각각 오차율이 2.29%와 3.42%이며, 이상치 탐지 및 보정에서 기존의 신뢰도 추정 기법들을 능가한다.

ABSTRACT

We present an improved three-step pipeline for the stereo matching problem and introduce multiple novelties at each stage. We propose a new highway network architecture for computing the matching cost at each possible disparity, based on multilevel weighted residual shortcuts, trained with a hybrid loss that supports multilevel comparison of image patches. A novel post-processing step is then introduced, which employs a second deep convolutional neural network for pooling global information from multiple disparities. This network outputs both the image disparity map, which replaces the conventional "winner takes all" strategy, and a confidence in the prediction. The confidence score is achieved by training the network with a new technique that we call the reflective loss. Lastly, the learned confidence is employed in order to better detect outliers in the refinement step. The proposed pipeline achieves state of the art accuracy on the largest and most competitive stereo benchmarks, and the learned confidence is shown to outperform all existing alternatives.

연구 동기 및 목표

• 고정 게이트, 다중 수준 스킵 연결을 사용하는 새로운 히어라키컬 아키텍처를 도입하여 딥 매칭 네트워크를 재설계함으로써 스테레오 매칭 정확도를 향상시키는 것.
• 기존의 '승자독식' 전략을 대체하여 동시에 디스parity 맵과 신뢰도 점수를 예측하는 딥 컨volution 네트워크를 도입하는 것.
• 학습 중 예측의 정확성에 따라 신뢰도 레이블을 동적으로 조정하는 새로운 학습 신호인 반사 손실을 개발하는 것.
• 학습된 신뢰도 점수를 활용하여 오류가 발생한 디스파리티를 이웃 픽셀에서 보간함으로써 이상치 탐지 및 보정을 향상시키는 것.
• 세분화 정보나 추가 학습 데이터에 의존하지 않고 대규모 스테레오 벤치마크에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 학습 안정성 향상과 특징 전파 개선을 위해 고정 게이팅 값과 다중 수준 잔여 경로를 갖춘 고정 게이트 히어라키컬 네트워크를 도입하여 패치 매칭에 활용한다.
• 학습 중 이미지 패치의 다중 수준 비교를 가능하게 하는 하이브리드 손실 함수를 적용하여 네트워크의 정확한 매칭 식별 능력을 향상시킨다.
• 최종 디스파리티 맵과 신뢰도 점수를 동시에 예측하기 위해 두 번째 딥 컨volution 네트워크를 활용하며, 기존의 WTA 전략을 대체하는 차별 가능한 전역적 맥락 인식 출력을 제공한다.
• 학습 중에 예측된 디스파리티가 정확할 경우에만 신뢰도 레이블을 1로 동적으로 설정하고, 그렇지 않으면 0으로 설정하는 새로운 반사 손실을 적용하여 네트워크가 신뢰도 추정을 신뢰성 있게 학습할 수 있도록 한다.
• 예측된 신뢰도 점수를 활용하여 오류가 발생한 디스파리티를 이웃 픽셀에서 보간함으로써 이상치를 탐지하고 보정하는 보정 단계를 구현한다.
• 네트워크의 수신 필드를 제어하기 위해 스케일링 레이어를 통합하여 매칭 비용 계산에서 공간적 맥락 모델링 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 다중 수준 스킵 연결을 갖춘 고정 게이트 히어라키컬 네트워크는 표준 잔여 네트워크에 비해 스테레오 매칭 정확도를 향상시킬 수 있는가?
• RQ2 디스파리티 및 신뢰도 예측을 위한 WTA 전략을 딥 컨볼루션 네트워크로 대체할 경우 성능 향상과 더 신뢰할 수 있는 신뢰도 추정이 가능해지는가?
• RQ3 학습 중 예측 정확성에 따라 동적으로 신뢰도 레이블을 할당하는 반사 손실 함수는 기존의 신뢰도 추정 방법보다 우월한 성능을 보일 수 있는가?
• RQ4 학습된 신뢰도 점수는 스테레오 매칭 파이프라인에서 이상치 탐지 및 보정을 어떻게 향상시키는가?
• RQ5 제안된 방법은 세분화 정보나 추가 학습 데이터 없이도 KITTI 벤치마크에서 최신 기술 수준의 결과를 달성할 수 있는가?

주요 결과

• 제안된 방법은 KITTI 2012에서 2.29%의 테스트 오차율, KITTI 2015에서 3.42%의 오차율을 기록하여 MC-CNN 기준선(2.43% 및 3.89%)과 다른 최신 기술 수준 방법들을 능가한다.
• 반사적 신뢰도 손실은 여섯 가지 경쟁 기법 중 평균 AUC가 가장 높았으며, KITTI 2012에서는 0.833, KITTI 2015에서는 0.812를 기록했다.
• 빠른 스테레오 매칭 아키텍처를 개선하여 5초 이내의 추론 시간 내에 KITTI 2012와 2015에서 각각 2.63%와 3.78%의 오차율을 달성했다.
• 절단 분석 결과, 하이브리드 손실 또는 고정 히어라키컬 게이트를 제거할 경우 성능 저하가 발생하여 이들의 중요성을 확인했다.
• 반사 손실을 통해 학습된 신뢰도 점수는 이상치 탐지 능력을 크게 향상시켜 보정 단계에서 보다 정확한 보간을 가능하게 했다.
• 세분화 정보를 사용하지 않음에도 불구하고 최신 기술 수준의 성능을 달성하여, 높은 정확도는 아키텍처 혁신과 신뢰도 학습만으로도 달성 가능함을 입증했다.