[논문 리뷰] Convolutional neural network architecture for geometric matching

Ignacio Rocco, Relja Arandjelović외 1명|HAL (Le Centre pour la Communication Scientifique Directe)|2017. 03. 16.

Advanced Image and Video Retrieval Techniques참고 문헌 47인용 수 53

한 줄 요약

요약: 이미지 쌍 사이의 기하학적 변환을 추정하기 위한 완전 학습 가능한 CNN 아키텍처로, 미 differentiable 매칭 레이어와 합성 데이터에서의 엔드 투 엔드 학습을 사용하여 인스턴스- 및 범주 수준 매칭에서 최첨단 결과를 달성합니다.

ABSTRACT

We address the problem of determining correspondences between two images in agreement with a geometric model such as an affine or thin-plate spline transformation, and estimating its parameters. The contributions of this work are three-fold. First, we propose a convolutional neural network architecture for geometric matching. The architecture is based on three main components that mimic the standard steps of feature extraction, matching and simultaneous inlier detection and model parameter estimation, while being trainable end-to-end. Second, we demonstrate that the network parameters can be trained from synthetically generated imagery without the need for manual annotation and that our matching layer significantly increases generalization capabilities to never seen before images. Finally, we show that the same model can perform both instance-level and category-level matching giving state-of-the-art results on the challenging Proposal Flow dataset.

연구 동기 및 목표

• 큰 외관 변화와 잡음이 있는 조건에서 강 robust 이미지-대-이미지 대응성을 자극한다.
• 고전적 특징 매칭과 강 robuste 변환 추정을 모방하는 엔드 투 엔드 학습 가능한 아키텍처를 개발한다.
• 수작업 주석 없이 합성 데이터로부터의 학습 가능성과 강력한 일반화 달성.
• 단일 프레임워크에서 인스턴스 수준과 범주 수준 기하학 매칭을 모두 지원한다.

제안 방법

• Siamese CNN 특성 추출기(VGG-16, pool4까지, 각 특징에 대해 L2 정규화를 적용)로 조밀한 디스크립터를 생성한다.
• 상관 기반 매칭 레이어가 모든 쌍 디스크립터 유사도를 계산하고 채널별 정규화를 적용해 모호한 매치를 약화시킨다.
• 정규화된 상관 맵에서 회귀 네트워크(두 개의 합성곱 계층 + 배치 정규화 + ReLU + 최종 완전 연결 계층)가 변환 파라미터를 추정한다.
• 계층적 변환 모델링: 먼저 어파인 변환을 추정하고 이미지 A를 왜곡한 후 정교화를 위한 TPS를 추정하여 최종 TPS를 구성한다.
• 완전 지도 학습 손실로 변형된 그리드에 대한 합성 변환으로부터 학습 시, 수작업 주석 없이 엔드 투 엔드 역전파를 가능하게 한다.
• 손실 함수는 변형 가능한 그리드에서 ground-truth 및 추정 변환을 적용한 후 격점 위치의 변위를 측정한다; 그래디언트는 변환 파라미터에 대해 계산된다.

실험 결과

연구 질문

• RQ1 완전히 학습 가능한 CNN 아키텍처가 이미지 쌍 사이의 기하학적 변환을 추정하기 위해 고전 매칭 파이프라인을 모방할 수 있는가?
• RQ2 정규화가 있는 상관 기반 매칭 레이어가 채널별 정규화를 통한 잡음-잡마감과 반복 패턴에 대한 견고함을 개선하는가?
• RQ3 합성 데이터로부터의 엔드 투 엔드 학습이 보지 못한 이미지에 일반화되고 범주 수준과 인스턴스 수준 매칭을 모두 지원할 수 있는가?
• RQ4 점진적 2단계 추정(어파인-그 후 TPS)이 복잡한 기하학 변환에서 어떤 이점을 가져오는가?

주요 결과

• 제안된 방법은 Proposal Flow 데이터셋에서 최첨단 PCK를 달성하여 객체 제안에 의존하는 방법보다 우수하게 작동합니다.
• 어파인과 TPS 단계가 정합성을 향상시키며, 어파인 추정의 앙상블이 성능을 더 높입니다.
• 채널별 정규화를 포함한 상관-레이어는 일반화 및 정확도 측면에서 연결(concatenation) 또는 뺄셈(subtraction) 매칭 전략을 능가합니다.
• 정규화(두 번째 이웃 이웃을 모방)가 성능을 크게 향상시킵니다(예: ablation에서 44%에서 49%로 증가).
• 이 방법은 서로 다른 학습 데이터 소스(StreetView vs Pascal VOC 합성 데이터셋) 간에 일반화가 잘 됩니다.
• 정성적 결과는 큰 외관 변화, 잡음, 배경 및 비강체 변형에 대해 강건하게 처리함을 보여줍니다.