[논문 리뷰] DeepMatching: Hierarchical Deformable Dense Matching

Jérôme Revaud, Philippe Weinzaepfel외 2명|arXiv (Cornell University)|2015. 06. 25.

Advanced Vision and Imaging참고 문헌 9인용 수 8

한 줄 요약

DeepMatching는 비정형 변형과 반복 무늬를 처리하기 위해 딥 컨volution 네트워크에서 영감을 받은 다층 상관관계 아키텍처를 사용하는 계층적이고 탄성 있는 밀도 매칭 방법이다. Mikolajczyk, MPI-Sintel, Kitti 벤치마크에서 최신 기술 수준의 성능을 달성하며, 변형 흐름 추정 기반의 경쟁적 광학 흐름 방법인 DeepFlow를 통합하여 구현한다.

ABSTRACT

We introduce a novel matching algorithm, called DeepMatching, to compute dense correspondences between images. DeepMatching relies on a hierarchical, multi-layer, correlational architecture designed for matching images and was inspired by deep convolutional approaches. The proposed matching algorithm can handle non-rigid deformations and repetitive textures and efficiently determines dense correspondences in the presence of significant changes between images. We evaluate the performance of DeepMatching, in comparison with state-of-the-art matching algorithms, on the Mikolajczyk (Mikolajczyk et al 2005), the MPI-Sintel (Butler et al 2012) and the Kitti (Geiger et al 2013) datasets. DeepMatching outperforms the state-of-the-art algorithms and shows excellent results in particular for repetitive textures.We also propose a method for estimating optical flow, called DeepFlow, by integrating DeepMatching in the large displacement optical flow (LDOF) approach of Brox and Malik (2011). Compared to existing matching algorithms, additional robustness to large displacements and complex motion is obtained thanks to our matching approach. DeepFlow obtains competitive performance on public benchmarks for optical flow estimation.

연구 동기 및 목표

• 비정형 변형과 약한 또는 반복적인 무늬를 가진 이미지에서 밀도 높은 대응 관계를 계산하는 문제에 대응한다.
• 비정형 또는 무늬가 없는 영역에서 실패하는 전통적인 기술 기반 방법(예: SIFT, HOG)의 한계를 극복한다.
• 반복 패턴으로 인해 어려움을 겪는 기존의 전파 기반 방법을 개선하기 위해 계층적이고 다중 척도 매칭 아키텍처를 도입한다.
• Large Displacement Optical Flow (LDOF) 프레임워크에 DeepMatching를 통합하여 강력한 광학 흐름 추정 방법을 개발한다.
• 핵심 알고리즘의 빠르고 척도/회전 불변 변형을 통해 낮은 메모리 비용으로 높은 성능을 달성한다.

제안 방법

• 이미지 패치를 하위 패치로 분해함으로써 다중 척도 매칭과 변형 모델링을 가능하게 하는 계층적이고 다층 아키텍처를 사용한다.
• 각 계층에서 경계가 있는 강성 변형 가정 하에 국소 매칭을 계산한 후, 계층 간 상향식으로 매칭을 전파하고 정밀도를 향상시킨다.
• 일조 및 색상 변화에 강건성을 향상시키기 위해 기울기 히스토GRAM을 특징 표현으로 사용한다.
• Brox와 Malik(2011)의 변분 에너지 최소화 프레임워크에 DeepMatching를 통합하여 대변위 광학 흐름을 위한 DeepFlow를 구축한다.
• 계산 비용을 줄이면서도 높은 정확도를 유지하는 빠르고 메모리 효율적인 DeepMatching의 변형을 적용한다.
• 계층에서 가중치 매칭 점수를 사용하여 점차적으로 잘못된 매칭을 제거하고 대응 신뢰도를 향상시킨다.

실험 결과

연구 질문

• RQ1 기존 방법과 비교해 볼 때, 깊이 있는 계층적 아키텍처가 비정형 변형과 반복 무늬에 대한 밀도 매칭의 강건성 향상에 기여하는가?
• RQ2 계층적 다중 척도 설계는 저무늬 또는 고반복 영역에서 매칭 정확도를 어떻게 향상시키는가?
• RQ3 MPI-Sintel 및 Kitti와 같은 표준 벤치마크에서 DeepMatching가 최신 기술 수준의 매칭 알고리즘을 얼마나 뛰어나게 성능을 내는가?
• RQ4 DeepMatching가 변분 광학 흐름 프레임워크에 효과적으로 통합되어 공개 벤치마크에서 경쟁적인 성능을 낼 수 있는가?
• RQ5 DeepMatching의 빠른 변형은 메모리 및 계산 비용을 크게 줄이면서도 충분한 정확도를 유지하는가?

주요 결과

• DeepMatching는 Mikolajczyk, MPI-Sintel, Kitti 데이터셋에서 최신 기술 수준의 성능을 달성하며, 특히 반복 무늬 매칭에서 뛰어난 성능을 보였다.
• MPI-Sintel 벤치마크에서 DeepMatching는 평균 엔드포인트 오차(EPE) 0.56 px를 기록하여 대변위 및 비정형 운동을 처리하는 데 있어 이전 방법을 능가했다.
• DeepMatching를 기반으로 한 광학 흐름 방법인 DeepFlow는 Kitti 테스트 세트(비차폐 영역)에서 EPE 1.4를 기록하여 최고 성능을 내는 방법 중 하나로 평가받았다.
• DeepMatching의 빠른 변형은 해상도를 반으로 줄인 상태에서 CPU에서 15초 내로 실행되며, GPU 버전은 0.2초 내로 완료되어 실시간 배포 가능성을 확보했다.
• DeepFlow는 CPU에서 총 실행 시간이 22초, GPU+CPU 조합에서는 10.2초로, EpicFlow와 같은 최신 기술 수준의 방법들과 비교해도 경쟁 가능한 성능을 보였다.
• 매개변수를 MPI-Sintel에서 최적화한 후 Kitti에서 EPE-Noc가 0.1 px 뿐만으로 감소함으로써, 메서드가 다양한 데이터셋에 잘 일반화됨을 보여주었으며, 과적합이 발생하지 않았음을 시사했다.