[논문 리뷰] Two-Stage Metric Learning

Jun Wang, Ke Sun외 3명|arXiv (Cornell University)|2014. 05. 12.

Face and Expression Recognition참고 문헌 23인용 수 7

한 줄 요약

이 논문은 고정된 앵커 점들에 대한 유사도를 통해 데이터 인스턴스를 확률 분포로 매핑하고, 그 결과로 생성된 통계 다양체 위에서 피셔 정보 거리로 입력 공간 내의 거리를 정의하는, 새로운 메트릭 학습 프레임워크인 Two-Stage Metric Learning (SBFIML)를 제안한다. 이 방법은 데이터 밀도 변화에 대해 강건하며 앵커 점 다양체 상에서 최대의 분류 구별력을 가지며, 기존의 메트릭 학습 방법들과 서포트 벡터 머신(SVM)보다 통계적으로 유의미한 향상으로 분류 정확도에서 뛰어난 성능을 보인다.

ABSTRACT

In this paper, we present a novel two-stage metric learning algorithm. We first map each learning instance to a probability distribution by computing its similarities to a set of fixed anchor points. Then, we define the distance in the input data space as the Fisher information distance on the associated statistical manifold. This induces in the input data space a new family of distance metric with unique properties. Unlike kernelized metric learning, we do not require the similarity measure to be positive semi-definite. Moreover, it can also be interpreted as a local metric learning algorithm with well defined distance approximation. We evaluate its performance on a number of datasets. It outperforms significantly other metric learning methods and SVM.

연구 동기 및 목표

• 전역적 및 국소적 메트릭 학습 방법의 한계, 특히 유연성 부족과 데이터 밀도 변화에 대한 취약성을 해결하기 위해.
• 커널 기반 메트릭 학습과 달리 유사도 행렬이 양정치가 되어야 하는 제약 조건이 필요로 하지 않는 메트릭 학습 접근법을 개발하기 위해.
• 닫힌 형식의 표현을 가진 국소적 메트릭 학습으로 해석할 수 있는 잘 정의되고 대칭적인 거리 근사치를 제공하기 위해.
• 앵커 점 다양체 상에서 거리의 분류 구별력을 향상시키고 관련이 없는 차원을 억제함으로써 분류 성능을 향상시키기 위해.

제안 방법

• 데이터 공간 내의 고정된 앵커 점들에 대한 비음수 유사도를 계산하여 각 입력 인스턴스를 확률 분포로 매핑한다.
• 이러한 확률 분포가 유도하는 통계 다양체 상에서의 피셔 정보 거리로 입력 공간 내의 거리를 정의한다.
• 피셔 정보로부터 유도된 리만 메트릭을 사용하여 데이터 밀도 변화에 강건한 새로운 종류의 거리 메트릭 가족을 유도한다.
• 앵커 점 다양체 상에서 최대의 거리 분류 구별력을 확보하고 수직 방향에서는 거리가 0이 되도록 하여 관련 없는 차원의 영향을 효과적으로 제거한다.
• 메트릭 학습 문제를 두 단계 과정으로 공식화한다: (1) 단순체 공간으로의 유사도 기반 임bedding, (2) 피셔 정보 기반 거리 계산.
• 유연하고 양정치가 아닌 유사도 함수를 사용하여 다양한 데이터 다양체(예: 유클리드 공간, 단체, 초구면)에 적용 가능하도록 한다.

실험 결과

연구 질문

• RQ1 커널 기반 메트릭 학습의 양정치 제약 조건을 피하면서도 유연성을 유지할 수 있는 메트릭 학습 프레임워크를 설계할 수 있는가?
• RQ2 근사치가 아닌 잘 정의되고 대칭적인 거리 함수를 가진 국소적 메트릭 학습 접근법을 어떻게 형식화할 수 있는가?
• RQ3 데이터 밀도 변화에 강건한 메트릭을 제안함으로써 저밀도 영역에 대한 편향을 방지할 수 있는가?
• RQ4 통계 다양체 상에서 피셔 정보를 기반으로 한 거리 학습이 최신 기술 대비 분류 성능 향상에 기여하는가?

주요 결과

• SBFIML는 여러 벤치마크 데이터셋에서 다른 메트릭 학습 방법들과 서포트 벡터 머신(SVM)보다 분류 정확도에서 뚜렷한 승리를 거두었다.
• Splice 및 Pendigits 데이터셋에서 SBFIML는 맥널리 테스트에 따라 SBMML보다 통계적으로 유의미한 향상을 보였다(p < 0.05).
• Pendigits 데이터셋에서 SBFIML는 χ² LMNN보다도 통계적으로 유의미하게 뛰어난 성능을 보였으며, 평가 랭킹에서 총 6.5점의 점수를 기록했다.
• 이 방법은 데이터 밀도 변화에 대해 강건함을 보이며, 저밀도 영역에 대한 목적 함수의 편향을 방지한다.
• 유도된 메트릭은 앵커 점 다양체 상에서 최대의 거리 분류 구별력을 보이며, 수직 방향에서는 거리가 0이 되어 관련 없는 특징을 효과적으로 걸러낸다.
• 제안된 방법은 기존의 국소적 메트릭 학습 방법과 달리 닫힌 형식의 대칭 거리 근사치를 제공하여 차별화된다.