[논문 리뷰] Spectral, Probabilistic, and Deep Metric Learning: Tutorial and Survey

Benyamin Ghojogh, Ali Ghodsi외 2명|arXiv (Cornell University)|2022. 01. 23.

Face and Expression Recognition인용 수 14

한 줄 요약

이 튜토리얼 및 서베이는 스펙트럼, 확률적, 딥 메트릭 학습 방법을 종합적으로 검토하며, 이를 세 가지 핵심 범주로 정리한다. 마할라노비스 거리와 같은 기초 개념을 다루며, 파이셔-HSIC, NCA, 시아메스 네트워크, 트리플릿 손실과 같은 핵심 알고리즘을 포함하고, 소수의 샘플 및 다중 모odal 메트릭 학습 분야의 최근 발전을 강조하여 표현 학습 및 차원 축소 분야의 연구자들에게 통합된 참고 자료를 제공한다.

ABSTRACT

This is a tutorial and survey paper on metric learning. Algorithms are divided into spectral, probabilistic, and deep metric learning. We first start with the definition of distance metric, Mahalanobis distance, and generalized Mahalanobis distance. In spectral methods, we start with methods using scatters of data, including the first spectral metric learning, relevant methods to Fisher discriminant analysis, Relevant Component Analysis (RCA), Discriminant Component Analysis (DCA), and the Fisher-HSIC method. Then, large-margin metric learning, imbalanced metric learning, locally linear metric adaptation, and adversarial metric learning are covered. We also explain several kernel spectral methods for metric learning in the feature space. We also introduce geometric metric learning methods on the Riemannian manifolds. In probabilistic methods, we start with collapsing classes in both input and feature spaces and then explain the neighborhood component analysis methods, Bayesian metric learning, information theoretic methods, and empirical risk minimization in metric learning. In deep learning methods, we first introduce reconstruction autoencoders and supervised loss functions for metric learning. Then, Siamese networks and its various loss functions, triplet mining, and triplet sampling are explained. Deep discriminant analysis methods, based on Fisher discriminant analysis, are also reviewed. Finally, we introduce multi-modal deep metric learning, geometric metric learning by neural networks, and few-shot metric learning.

연구 동기 및 목표

• 스펙트럼, 확률적, 딥 러닝 파라다임 전반에 걸친 메트릭 학습 방법에 대한 통합적이고 깊이 있는 튜토리얼 및 서베이를 제공하기 위해.
• 마할라노비스 거리 및 일반화된 마할라노비스 거리와 같은 거리 메트릭의 이론적 기초를 명확히 하기 위해.
• NCA, 라지 마진 메트릭 학습, 시아메스 네트워크, 소수의 샘플 메트릭 학습과 같은 주요 알고리즘 가족을 체계화하고 비교하기 위해.
• 딥 메트릭 학습 분야의 최근 발전, 특히 다중 모달 및 리만 다양체 상의 기하학적 접근법을 강조하기 위해.
• 차원 축소, 다양체 학습, 표현 학습 분야의 연구자들과 전문가들을 위한 기초 참고 자료로 기능하기 위해.

제안 방법

• 기본 원리와 최적화 프레임워크에 기반해 메트릭 학습을 스펙트럼, 확률적, 딥 학습 방법으로 분류한다.
• 산란 기반 학습, 일반화된 고유값 문제, 커널 확장 기반으로 스펙트럼 방법을 소개하며, 파이셔-HSIC 및 라지 마진 메트릭 학습을 포함한다.
• 이웃성 분석 분석 분석 기반 메트릭 학습, 베이지안 메트릭 학습, 엔트로피와 상호정보량을 사용한 정보 이론적 접근법을 포함한 확률적 방법을 제시한다.
• 오토인코더, 대비 손실 및 트리플릿 손실 함수를 사용한 시아메스 네트워크, 파이셔 기준에 기반한 딥 판별 분석을 활용한 딥 메트릭 학습을 상세히 기술한다.
• 적대적 메트릭 학습, 리만 다양체 상의 기하학적 딥 메트릭 학습, 다중 척도 및 연속적 유사도 스코어링을 통한 소수의 샘플 학습과 같은 고급 주제를 다룬다.
• 최근 기법인 다중 척도 특징 집약 및 연속적 유사도 스코어링을 통합하여 소수의 샘플 일반화 성능 향상을 도모한다.

실험 결과

연구 질문

• RQ1 산란과 일반화된 고유값 문제를 활용해 스펙트럼 방법이 어떻게 효과적으로 거리 메트릭을 학습할 수 있는가?
• RQ2 NCA 및 베이지안 프레임워크와 같은 확률 모델이 분류를 위한 메트릭 공간 최적화에 어떻게 기여하는가?
• RQ3 시아메스 네트워크와 트리플릿 손실을 활용한 딥 메트릭 학습 아키텍처가 지도 및 소수의 샘플 설정에서 효과적인 표현 학습을 어떻게 가능하게 하는가?
• RQ4 커널 및 기하학적 확장 기법이 비선형 및 다양체 구조를 가진 데이터에서 메트릭 학습을 어떻게 향상시키는가?
• RQ5 연속적 유사도 스코어링과 다중 척도 특징 학습이 소수의 샘플 메트릭 학습 성능을 어떻게 향상시키는가?

주요 결과

• 파이셔-HSIC 및 RCA와 같은 스펙트럼 메트릭 학습 방법은 이탈 클래스 산란을 최대화하고 내부 클래스 산란을 최소화함으로써 효과적으로 거리 메트릭을 최적화한다.
• 이웃성 분석 분석 기반 메트릭 학습 방법인 NCA는 근접 이웃에 대한 확률적 과정으로 분류를 모델링함으로써 강력한 메트릭 학습을 달성한다.
• 트리플릿 손실을 사용한 딥 시아메스 네트워크는 상대적 비교를 통한 분류 가능한 임bedding을 학습함으로써 소수의 샘플 학습에서 최고 성능을 기록한다.
• 다중 척도 메트릭 학습은 사전 학습된 네트워크의 여러 레이어에서 특징을 조합함으로써 특징 계층의 활용을 향상시켜 소수의 샘플 일반화 성능을 향상시킨다.
• 메트릭 학습에서 연속적 유사도 스코어링은 이진 유사도 레이블보다 더 부드러운 최적화와 더 나은 일반화 성능을 가능하게 한다.
• 리만 다양체 상의 기하학적 딥 메트릭 학습은 비유클리드 공간에서 특히 내재된 데이터 구조를 더 정확하게 모델링할 수 있도록 한다.