[논문 리뷰] Stereo Matching by Training a Convolutional Neural Network to Compare Image Patches

Jure Žbontar, Yann LeCun|arXiv (Cornell University)|2015. 10. 20.

Advanced Vision and Imaging참고 문헌 32인용 수 939

한 줄 요약

이 논문은 일치 비용을 계산하기 위해 이미지 패치 간 유사도 측정을 학습하는 컨볼루션 신경망(CNN) 기반 방법을 제안한다. 알려진 차이값이 있는 레이블이 부여된 패치 쌍을 기반으로 훈련함으로써, KITTI 2012, KITTI 2015 및 Middlebury 데이터셋에서 이전 방법들을 능가하며, 실시간 성능을 보장하는 빠른 아키텍처를 통해 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

We present a method for extracting depth information from a rectified image pair. Our approach focuses on the first stage of many stereo algorithms: the matching cost computation. We approach the problem by learning a similarity measure on small image patches using a convolutional neural network. Training is carried out in a supervised manner by constructing a binary classification data set with examples of similar and dissimilar pairs of patches. We examine two network architectures for this task: one tuned for speed, the other for accuracy. The output of the convolutional neural network is used to initialize the stereo matching cost. A series of post-processing steps follow: cross-based cost aggregation, semiglobal matching, a left-right consistency check, subpixel enhancement, a median filter, and a bilateral filter. We evaluate our method on the KITTI 2012, KITTI 2015, and Middlebury stereo data sets and show that it outperforms other approaches on all three data sets.

연구 동기 및 목표

• 딥 러닝을 사용하여 이미지 패치 간 강건한 유사도 측정을 학습함으로써 스테레오 매칭을 향상시키기.
• 스테레오 매칭의 첫 번째 단계인 일치 비용 계산 문제를 해결하기 위해 수작업으로 설계된 메트릭을 학습된 CNN 기반 접근법으로 대체하기.
• 속도 최적화된 아키텍처와 정확도 최적화된 아키텍처를 각각 개발하여 성능과 추론 시간 간의 트레이드오���을 가능하게 하기.
• 전이 학습을 활용하여 KITTI 2012, KITTI 2015 및 Middlebury를 포함한 다양한 스테레오 데이터셋 간의 일반화 능력을 입증하기.
• 학습, 추론, 후처리 단계를 포함한 완전히 재현 가능한 파ip라인과 소스 코드를 제공하기.

제안 방법

• 지표 차이값이 알려진 레이블이 부여된 데이터셋을 기반으로 이진 교차 엔트로피 손실을 사용해 CNN을 훈련하여 이미지 패치 쌍을 유사 또는 비유사로 분류하도록 한다.
• 두 가지 아키텍처를 사용: 실시간 추론을 위한 더 적은 층과 필터를 가진 빠른 네트워크와 깊은 구조와 더 넓은 수신장이 있는 정확도 중심의 네트워크.
• CNN의 출력을 사용해 왼쪽 및 오른쪽 이미지의 대응 패치 간의 유사도 점수를 계산함으로써 일치 비용을 초기화한다.
• 로컬 이미지 강도 일관성을 기반으로 비용을 부드럽게 하기 위해 교차 기반 비용 집계를 적용한다.
• 좌우 일致성 검사를 포함한 반전형 매칭(SGM)을 사용해 부드러움을 강제하고 잘못된 차이값을 제거한다.
• 최종 밀도 있는 차이값 맵을 생성하기 위해 서브픽셀 정밀도 향상, 중앙값 필터링 및 양방향 필터링을 적용한다.

실험 결과

연구 질문

• RQ1 기존의 수작업으로 설계된 메트릭(예: SSD 또는 NCC)에 비해 깊은 CNN이 스테레오 매칭을 위한 유사도 측정에서 더 뛰어난 성능을 보일 수 있는가?
• RQ2 CNN 기반의 일치 비용 계산 성능은 KITTI 및 Middlebury와 같은 다양한 스테레오 데이터셋에 어떻게 일반화되는가?
• RQ3 CNN 아키텍처의 하이퍼파라미터를 변화시킬 때 정확도와 추론 속도 간의 트레이드오프는 어떻게 되는가?
• RQ4 훈련 데이터셋의 크기가 CNN 기반 스테레오 방법의 일반화 능력과 검증 오차에 어떤 영향을 미치는가?
• RQ5 예를 들어 Middlebury에서 훈련된 CNN이 미세조정 없이 KITTI와 같은 다른 데이터셋으로 얼마나 잘 전이될 수 있는가?

주요 결과

• CNN 기반 방법은 KITTI 2012, KITTI 2015 및 Middlebury 스테레오 벤치마크에서 이전에 발표된 모든 방법보다 낮은 오차율을 기록하며 최고의 성능을 달성했다.
• 정확도 중심의 CNN 아키텍처는 KITTI 2012에서 평균 종점 오차(AEE)를 2.97 픽셀로 줄였고, KITTI 2015에서는 3.23 픽셀로 줄였으며, 최적 설정에서는 각각 2.60 및 3.23 픽셀을 달성했다.
• 빠른 아키텍처는 정확도 버전 대비 최대 90배 빠른 추론 속도를 기록했고 오차는 약 0.5 픽셀 증가에 그쳐 실시간 성능 잠재력을 잘 보여주었다.
• 전이 학습 결과, Middlebury에서 훈련된 CNN이 KITTI로 잘 일반화되어 KITTI에서 직접 훈련된 모델과 유사한 검증 오차를 기록했다.
• 네트워크의 깊이와 너비를 증가시킬수록 일반화 능력이 향상되었지만, 데이터 제한으로 인해 특정 지점 이후 성능이 저하되어 포화 효과가 나타났다.
• 하이퍼파라미터 탐색 결과, 최적의 성능은 128개의 특징 맵, 5개의 컨볼루션 층, 4개의 완전 연결 층, 그리고 특정 음성 샘플링 비율(데이터셋_neg_low=1.5, dataset_neg_high=18)에서 달성되었다.