[논문 리뷰] End-to-End Training of Hybrid CNN-CRF Models for Stereo

Patrick Knöbelreiter, Christian Reinbacher외 2명|TUGraz OPEN Library (Graz University of Technology)|2016. 11. 30.

Advanced Vision and Imaging참고 문헌 37인용 수 6

한 줄 요약

이 논문은 구조적 서포트 벡터 머신(SVM) 프레임워크를 통해 단일 및 쌍체 비용을 동시에 학습하는 엔드 투 엔드 학습 가능한 하이브리드 CNN-CRF 모델을 제안한다. 수작업으로 구성된 요소들을 딥 페처로 대체하고 빠른 이중 블록 강하 추론을 사용함으로써, 후처리 없이 Middlebury 2014 및 Kitti 2015 벤치마크에서 경쟁 가능한 성능을 달성하며, 얕은 네트워크를 사용함에도 불구하고 일반화 능력과 경계 정확도가 향상됨을 보여준다.

ABSTRACT

We propose a novel and principled hybrid CNN+CRF model for stereo estimation. Our model allows to exploit the advantages of both, convolutional neural networks (CNNs) and conditional random fields (CRFs) in an unified approach. The CNNs compute expressive features for matching and distinctive color edges, which in turn are used to compute the unary and binary costs of the CRF. For inference, we apply a recently proposed highly parallel dual block descent algorithm which only needs a small fixed number of iterations to compute a high-quality approximate minimizer. As the main contribution of the paper, we propose a theoretically sound method based on the structured output support vector machine (SSVM) to train the hybrid CNN+CRF model on large-scale data end-to-end. Our trained models perform very well despite the fact that we are using shallow CNNs and do not apply any kind of post-processing to the final output of the CRF. We evaluate our combined models on challenging stereo benchmarks such as Middlebury 2014 and Kitti 2015 and also investigate the performance of each individual component.

연구 동기 및 목표

• 스테레오 매칭을 위한 통합적이고 엔드 투 엔드 학습 가능한 하이브리드 CNN-CRF 모델을 개발하여 딥 페처와 구조적 CRF 추론을 통합한다.
• 데이터에서 직접 강력한 단일 및 쌍체 비용을 학습함으로써 후처리 히우리즘에 의존하지 않도록 한다.
• 구조적 출력 학습을 통해 CNN 구성 요소와 CRF 파라미터를 함께 학습함으로써 일반화 능력과 해석 가능성을 향상시킨다.
• 잘 설계된 CRF와 학습된 비용을 사용하면 복잡한 딥 네트워크와 광범위한 후처리가 필요 없이도 성능을 뛰어넘을 수 있음을 보여준다.
• 얕은 CNN과 CRF를 조합하면 더 적은 파라미터와 과적합을 줄이며 경쟁 가능한 성능을 달성할 수 있음을 보여준다.

제안 방법

• 단일-CNN은 좌우 스테레오 이미지에서 국소적 페처를 추출하고, 이를 상관층을 통해 비교하여 CRF의 단일 잠재변수로 사용되는 매칭 비용 볼륨을 형성한다.
• 쌍체-CNN은 CRF를 위한 대비 민감한 엣지 가중치를 학습하여 기존의 수작업으로 구성된 정규화 요소를 대체하고 이미지 콘텐츠 기반의 적응적 스무딩을 가능하게 한다.
• CRF는 공간적 의존성을 모델링하기 위해 4연결 그리드 구조를 사용하며, 이미지 전반에 걸쳐 차별화 레이블을 동시에 최적화한다.
• 추론은 빠르고 고도로 병렬화된 이중 블록 강하 알고리즘을 사용하여 몇 번의 반복만으로 실시간에 가까운 성능을 달성한다.
• 엔드 투 엔드 학습은 비가역적인 CRF 추론을 통해 역전파할 수 있도록 하기 위해 구조적 출력 서포트 벡터 머신(SSVM)을 사용하며, 부분기울기 근사법을 적용한다.
• 모델은 자르기된 패치가 아닌 전체 이미지에서 학습하여 완전한 시나리오에서의 추론 성능를 직접 최적화할 수 있다.

실험 결과

연구 질문

• RQ1 하이브리드 CNN-CRF 모델은 엔드 투 엔드 미분 가능한 방식으로 스테레오 매칭을 위한 단일 및 쌍체 비용을 함께 학습할 수 있는가?
• RQ2 패치 기반 학습이나 최대우도 추정과 비교해 구조적 SVM으로 학습하면 일반화 능력과 성능이 향상되는가?
• RQ3 얕은 CNN-CRF 모델은 서브픽셀 정밀도 조정이나 막힘 처리와 같은 후처리 없이도 경쟁 가능한 결과를 낼 수 있는가?
• RQ4 CNN으로 학습한 쌍체 비용은 전통적인 대비 민감한 정규화 요소와 비교해 경계 정확도와 강건성 측면에서 어떻게 성능을 내는가?
• RQ5 얕은 네트워크를 사용할 때 CRF 구성 요소가 과적합을 얼마나 줄이고 일반화 능력을 얼마나 향상시키는가?

주요 결과

• 제안된 모델은 CNN 기반 방법 중에서 Middlebury 2014 벤치마크에서 가장 낮은 루트 평균 제곱(RMS) 오차를 기록하였으며, RMS는 6.01이었다. 이는 단지 7층의 CNN을 사용했음에도 불구하고 성능을 달성한 것이다.
• Kitti 2015 벤치마크에서 모델은 bad3 오차 2.93을 기록하여 도전적인 실생활 환경에서 뛰어난 성능을 보였다.
• 정성적 비교에서 모델은 매우 정확한 물체 경계 추출을 제공했으며, 경쟁 방법이 과적합으로 인해 상단 영역에서 피크가 발생하는 것을 최소화했다.
• 후처리가 없는 결과로 최신 기술 수준의 방법보다 약간 높은 bad2 오차를 기록했지만, 이는 주로 큰 오차가 아닌 소규모 이산화 아티팩트 때문임이 밝혀졌다.
• CRF 레이어는 과적합을 크게 줄였으며, 얕은 CNN(3–7층)을 사용해도 강력한 성능을 발휘함으로써 더 나은 데이터 효율성과 일반화 능력을 보여주었다.
• 모델은 막힘과 조명 변화에 대해 강건했으며, 명시적인 막힘 모델링 없이도 성능을 유지했다. 이는 학습된 CRF 정규화 요소가 암묵적으로 기하학적 사전 지식을 포착하고 있음을 시사한다.