[논문 리뷰] Deep Stereo Matching with Dense CRF Priors

Ron Slossberg, Aaron Wetzler외 1명|arXiv (Cornell University)|2016. 12. 06.

Advanced Vision and Imaging참고 문헌 17인용 수 4

한 줄 요약

이 논문은 컨volution 신경망 아키텍처 내에서 학습 가능한 정규화 사전 지식으로서 조건부 랜덤 필드(CRF)를 조밀하게 연결한 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 네트워크와 함께 CRF 파라미터를 동시에 학습시킴으로써, 더 선명한 물체 경계와 더 적은 아티팩트를 갖는 우수한 차원 추정 성능을 달성하였으며, 합성(FlyingThings3D) 및 실세계(KITTI) 데이터셋 모두에서 비엔드 투 엔드 및 다른 엔드 투 엔드 기반의 베이스라인을 능가한다.

ABSTRACT

Stereo reconstruction from rectified images has recently been revisited within the context of deep learning. Using a deep Convolutional Neural Network to obtain patch-wise matching cost volumes has resulted in state of the art stereo reconstruction on classic datasets like Middlebury and Kitti. By introducing this cost into a classical stereo pipeline, the final results are improved dramatically over non-learning based cost models. However these pipelines typically include hand engineered post processing steps to effectively regularize and clean the result. Here, we show that it is possible to take a more holistic approach by training a fully end-to-end network which directly includes regularization in the form of a densely connected Conditional Random Field (CRF) that acts as a prior on inter-pixel interactions. We demonstrate that our approach on both synthetic and real world datasets outperforms an alternative end-to-end network and compares favorably to more hand engineered approaches.

연구 동기 및 목표

• 수동으로 설계된 후처리 단계에 의존하는 비엔드 투 엔드 스테레오 파이프라인의 한계를 해결하기 위해.
• 구조적 사전 지식을 딥 러닝 파이프라인에 통합하여, 차원 추정 정확도 향상과 경계 선명도 향상을 위해.
• 학습 가능한 조밀한 CRF를 사용한 엔드 투 엔드 학습이 기존의 CNN 기반 비용 볼륨 학습 방식보다 더 나은 결과를 낼 수 있음을 입증하기 위해.
• 통합적이고 미분 가능한 정규화 모듈이 모듈식이고 순차적인 스테레오 파이프라인을 능가할 수 있는지 조사하기 위해.
• 다양한 데이터 분포와 차원 범위를 가진 합성 및 실세계 데이터셋에서의 방법의 강인성 평가하기 위해.

제안 방법

• 이 방법은 스테레오 이미지 쌍에서 패치 기반 매칭 비용 볼륨을 계산하기 위해 깊이 컨volution 신경망을 사용한다.
• 상호작용을 통해 비용 볼륨을 정규화하기 위해, 미분 가능한 레이어로서 학습 가능한 조밀하게 연결된 조건부 랜덤 필드(CRF)를 통합한다.
• 비용 볼륨의 상호작용을 효과적으로 모델링하기 위해 새로운 호환성 함수를 사용한다.
• CRF 파라미터를 포함한 전체 네트워크는 비용 볼륨의 미분 가능한 평균장 근사법을 사용하여 백프로파게이션을 통해 엔드 투 엔드로 학습된다.
• CRF는 국소적 스무딩을 강제하면서도 물체 경계에서 불연속성을 유지하는 조각별 스무딩 사전 지식으로 기능한다.
• 전체 이미지에 대한 지도 학습을 통해 합성(FlyingThings3D) 및 실세계(KITTI) 데이터셋에서 프레임워크를 학습한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥 러닝 파이프라인에 통합된, 미분 가능하고 학습 가능한 조밀한 CRF 레이어가 스테레오 매칭 성능 향상에 기여할 수 있는가?
• RQ2 CRF와 같은 구조적 사전 지식을 통합하면, 단순히 CNN 기반 비용 볼륨에 의존하는 것보다 더 나은 차원 추정 결과를 낼 수 있는가?
• RQ3 학습 데이터가 제한된 데이터셋, 특히 큰 차원 범위가 있는 영역에서 이 방법은 어떻게 성능을 내는가?
• RQ4 제안된 CRF 기반 정규화는 SGM 기반 방법에서 흔히 볼 수 있는 줄무늬 아티팩트를 줄일 수 있는가?
• RQ5 CRF 사전 지식의 성능 향상은 데이터셋 크기와 데이터 커버리지에 따라 비례하는가?

주요 결과

• FlyingThings3D 데이터셋에서, 제안된 방법은 여러 사례에서 [23]보다 낮은 오차율을 기록하였으며, 보고된 오차율은 9.68%로 [23]의 11.85%보다 낮았다.
• KITTI 2015 데이터셋에서, 8개 테스트 씬 중 6개에서 [23]을 능가하였으며, 한 경우에서 오차율은 1.09%로 [23]의 1.45%보다 낮았다.
• SGM 기반 접근 방식에서 흔히 발생하는 줄무늬 아티팩트를 감소시켜, 비용 지도에서 더 세밀한 세부 사항과 더 선명한 경계를 생성하였다.
• KITTI에서 근접한 물체의 큰 차원 영역에서는 오차율이 25.46%에 이르며 성능이 열악한 편이었는데, 이러한 영역에 대한 훈련 예제가 부족하기 때문이다.
• FlyingThings3D와 같이 크고 잘 커버된 대규모 데이터셋에서의 성능 향상이 두드러져, 데이터 크기에 따라 강력한 확장성 잠재력을 보였다.
• 학습 가능한 CRF 사전 지식의 통합은 비미분 가능하거나 후처리 기반 대안 대비 더 통합적이고 효과적인 정규화 전략을 제공한다.