[논문 리뷰] Deep Spectral Correspondence for Matching Disparate Image Pairs

Arun Kumar, Shefali Srivastava외 2명|arXiv (Cornell University)|2018. 09. 12.

Advanced Image and Video Retrieval Techniques참고 문헌 12인용 수 4

한 줄 요약

이 논문은 스케일, 시점, 조명, 부분적 가림 등 극한의 변화가 있는 이미지 쌍을 매칭하기 위해 국소적 특징 기술자와 스펙트럼 그래프 임베딩을 조합하는 학습이 없는, 강렬도 인식 기반의 Deep Spectral Correspondence(DSC)를 제안한다. 스펙트럼 임베딩 프레임워크 내에서 형태, 강렬도, 정규화 항을 동시에 최적화함으로써, 기존 및 새로 도입된 기준 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

A novel, non-learning-based, saliency-aware, shape-cognizant correspondence determination technique is proposed for matching image pairs that are significantly disparate in nature. Images in the real world often exhibit high degrees of variation in scale, orientation, viewpoint, illumination and affine projection parameters, and are often accompanied by the presence of textureless regions and complete or partial occlusion of scene objects. The above conditions confound most correspondence determination techniques by rendering impractical the use of global contour-based descriptors or local pixel-level features for establishing correspondence. The proposed deep spectral correspondence (DSC) determination scheme harnesses the representational power of local feature descriptors to derive a complex high-level global shape representation for matching disparate images. The proposed scheme reasons about correspondence between disparate images using high-level global shape cues derived from low-level local feature descriptors. Consequently, the proposed scheme enjoys the best of both worlds, i.e., a high degree of invariance to affine parameters such as scale, orientation, viewpoint, illumination afforded by the global shape cues and robustness to occlusion provided by the low-level feature descriptors. While the shape-based component within the proposed scheme infers what to look for, an additional saliency-based component dictates where to look at thereby tackling the noisy correspondences arising from the presence of textureless regions and complex backgrounds. In the proposed scheme, a joint image graph is constructed using distances computed between interest points in the appearance (i.e., image) space. Eigenspectral decomposition of the joint image graph allows for reasoning about shape similarity to be performed jointly, in the appearance space and eigenspace.

연구 동기 및 목표

• 스케일, 방향, 시점, 조명, 아핀 변형 등 극한의 변화가 있는 이미지 쌍을 매칭하는 데 도전하는 것.
• 가림, 무문자 영역, 변형에 대응하기 위해 전통적인 국소적 특징 매칭 및 전역적 형태 기술자에 한계가 있음을 해결하는 것.
• 저수준 특징과 고수준 형태 표현을 모두 활용하는 강력한 학습이 없는 대응 방법을 개발하는 것.
• 극한 조건에서의 이질적 이미지 매칭을 위한 지표로 사용 가능한 새로운 대규모 기준 데이터셋을 제안하고, 정답 관심점 애너테이션을 제공하는 것.
• 粗역도 형태 매칭과 세밀한 점 간 대응 매칭 양면에서 최신 기술 수준(SOTA)의 성능을 달성하는 것.

제안 방법

• 외관 공간 내 점 간 거리를 사용해 연합된 이미지 그래프를 구축하여 국소적 특징 관계를 인코딩한다.
• 연합 그래프에 대해 고유 스펙트럼 분해를 수행하여 이미지를 공통 고유 공간에 임베딩함으로써 연합된 형태 유사도 추론을 수행한다.
• 형태 기반 정규화, 강렬도 신호, 특징 품질을 통합한 통합 에너지 함수를 최적화한다.
• 형태 일관성, 강렬도, 특징 신뢰성을 균형 잡는 볼록 최적화 공식을 사용해 에너지 함수를 최적화한다.
• 엔드 투 엔드 학습 없이도, 예를 들어 SuperPoint에서 유래한 딥 러닝 기반 CNN 특징을 입력 기술자로 사용한다.
• 강렬도와 기하학적 일관성이 높은 영역에서의 대응을 우선시하는 형태 인식 최적화를 적용한다.

실험 결과

연구 질문

• RQ1 학습이 없는 방법이 이질적인 이미지 쌍을 매칭하는 데 최신 기술 수준(SOTA)의 성능을 달성할 수 있는가?
• RQ2 공동 스펙트럼 임베딩이 극한의 시점 변화 조건에서 대응의 강건성을 어떻게 향상시키는가?
• RQ3 강렬도 인식 기반 추론은 무문자 영역이나 혼잡한 배경 영역에서 잘못된 대응을 얼마나 줄일 수 있는가?
• RQ4 학습 데이터 없이 저수준 특징과 고수준 형태 추론 기반 모델이 딥 러닝 기반 베이스라인을 초월할 수 있는가?
• RQ5 형태, 강렬도, 정규화의 통합이 가림과 변형 조건에서 매칭 정확도를 어떻게 향상시키는가?

주요 결과

• 제안된 DSC 방법은 군집형 형태 매칭과 세밀한 점 간 대응 매칭 양 측면에서 최신 기술 수준(SOTA)의 성능을 달성한다.
• SuperPoint와 같은 깊이 신경망 특징을 사용할 때도 전통적인 특징 기반 매칭보다 뚜렷이 뛰어나며, 스펙트럼 임베딩의 필요성을 입증한다.
• 제거 실험 결과, 성능 향상의 주요 원인은 개선된 특징 품질이 아니라 공동 스펙트럼 임베딩과 형태 인식 최적화에 기인함을 확인한다.
• 에너지 함수의 최적 파라미터 가중치는 검증 세트 정확도를 기반으로 도출되었으며, λ₁=0.75(형태), λ₂=0.10(정규화), λ₃=0.15(강렬도)였다.
• 새로운 기준 데이터셋은 이질적 이미지 매칭을 위한 가장 크고 종합적인 공개 기준 데이터셋이며, 정답 관심점 애너테이션을 포함하고 있다.
• 강렬도 유도 주의를 통해 텍스처가 없는 영역이나 복잡한 배경 영역에서 잘못된 대응을 효과적으로 줄인다.