[논문 리뷰] Multimodal matching using a Hybrid Convolutional Neural Network.

Elad Ben Baruch, Yosi Keller|arXiv (Cornell University)|2018. 10. 30.

Advanced Image and Video Retrieval Techniques참고 문헌 25인용 수 8

한 줄 요약

이 논문은 단일 순방향 전파를 통해 다중모달 이미지 간의 특징점들을 동시에 검출하고 매칭하는 통합형 하이브리드 CNN 아키텍처를 제안한다. 시아모이즈 CNN과 이중 무게 공유 없음 CNN을 통합함으로써 공유된 이미지 특징과 고유한 특징을 융합하여 매칭 오차를 50–70% 감소시키고, SIFT 및 ORB보다 검출 반복성 향상을 이룬다.

ABSTRACT

In this work, we propose a novel Convolutional Neural Network (CNN) architecture for the joint detection and matching of feature points in images acquired by different sensors using a single forward pass. The resulting feature detector is tightly coupled with the feature descriptor, in contrast to classical approaches (SIFT, etc.), where the detection phase precedes and differs from computing the descriptor. Our approach utilizes two CNN subnetworks, the first being a Siamese CNN and the second, consisting of dual non-weight-sharing CNNs. This allows simultaneous processing and fusion of the joint and disjoint cues in the multimodal image patches. The proposed approach is experimentally shown to outperform contemporary state-of-the-art schemes when applied to multiple datasets of multimodal images by reducing the matching errors by 50\%-70\% compared with previous works. It is also shown to provide repeatable feature points detections across multi-sensor images, outperforming state-of-the-art detectors such as SIFT and ORB. To the best of our knowledge, it is the first unified approach for the detection and matching of such images.

연구 동기 및 목표

• 보이는 이미지와 적외선 이미지와 같은 서로 다른 센서에서 온 이미지 간 특징점 매칭 문제를 해결하기 위해.
• 기존의 SIFT와 같은 이중 단계 방법의 한계를 극복하기 위해 특징 검출과 기술자 계산을 단일 엔드 투 엔드 학습 프레임워크로 통합하기 위해.
• 최신 기술 대비 다중모달 이미지 쌍에서 매칭 정확도와 검출 반복성을 향상시키기 위해.
• 새로운 CNN 아키텍처를 통해 동시에 공유(공통)된 이미지 특징과 독립(센서별)된 이미지 특징을 융합하고 처리할 수 있도록 하기 위해.

제안 방법

• 이 방법은 서로 다른 센서에서 온 이미지 패치 쌍을 처리하기 위해 시아모이즈 CNN 하위망을 활용하여 공동 특징 학습을 가능하게 한다.
• 두 번째 하위망은 이중 무게 공유 없음 CNN을 사용하여 센서별 고유 특징을 추출함으로써 모odal별 정보를 독립적으로 처리할 수 있도록 한다.
• 두 하위망의 출력을 융합하여 검출 및 매칭을 위한 통합된 특징 표현을 생성한다.
• 전체 네트워크는 단일 순방향 전파에서 검출 및 매칭 성능을 동시에 최적화하기 위해 엔드 투 엔드로 훈련된다.
• 아키텍처는 검출과 기술자 학습이 순차적으로가 아니라 병렬로 이루어지는 강력한 결합 구조를 갖추고 있다.

실험 결과

연구 질문

• RQ1 분리된 검출 및 기술자 단계 없이 단일 딥러닝 모델이 다중모달 이미지 간 특징을 효과적으로 검출하고 매칭할 수 있는가?
• RQ2 검출과 기술자 학습을 공동으로 수행할 경우 다중모달 환경에서 매칭 정확도가 어떻게 향상되는가?
• RQ3 공유된 특징과 독립된 특징을 융합할 경우 서로 다른 센서 간 특징 매칭 성능 향상 정도는 어느 정도인가?
• RQ4 제안된 방법은 다중모달 데이터에서 기존의 SIFT 및 ORB와 같은 고전적 검출기와 비교해 검출 반복성에서 어떤가?

주요 결과

• 제안된 방법은 여러 다중모달 데이터셋에서 최신 기술 대비 매칭 오차를 50–70% 감소시켰다.
• SIFT 및 ORB보다 다중 센서 이미지 쌍에서 더 높은 검출 반복성을 확보하여 센서 간 차이에 대한 강건성을 입증했다.
• 검출과 기술자를 통합된 엔드 투 엔드 방식으로 학습함으로써 기존의 이중 단계 접근 방식보다 우수한 성능을 달성했다.
• 이중 무게 공유 없음 CNN의 사용은 모달 고유 특징을 효과적으로 모델링하면서도 교차 모달 정렬을 유지하는 데 기여했다.