[논문 리뷰] Geometric Mean Metric Learning

Pourya Habib Zadeh, Reshad Hosseini외 1명|arXiv (Cornell University)|2016. 07. 18.

Face and Expression Recognition참고 문헌 21인용 수 61

한 줄 요약

이 논문은 대칭 양의 정부호 행렬의 리만 다양체 위에서 부드럽고 엄밀히 볼록 최적화 문제로 문제를 공식화하는 새로운 유형의 유클리드 거리 측정 학습 방법인 기하 평균 거리 측정 학습(Geometric Mean Metric Learning, Gmml)을 제안한다. 이 방법은 행렬 기하 평균을 통해 닫힌 형태의 해를 도출함으로써, LMNN 및 ITML보다 수개의 주기 빠른 계산을 가능하게 하며, 기준 데이터셋에서 그들의 분류 정확도를 유지하거나 초월한다.

ABSTRACT

We revisit the task of learning a Euclidean metric from data. We approach this problem from first principles and formulate it as a surprisingly simple optimization problem. Indeed, our formulation even admits a closed form solution. This solution possesses several very attractive properties: (i) an innate geometric appeal through the Riemannian geometry of positive definite matrices; (ii) ease of interpretability; and (iii) computational speed several orders of magnitude faster than the widely used LMNN and ITML methods. Furthermore, on standard benchmark datasets, our closed-form solution consistently attains higher classification accuracy.

연구 동기 및 목표

• 계산적으로 효율적이고 기하학적으로 해석 가능한 새로운 원리 기반의 유클리드 거리 측정 학습 방법을 개발하기 위해.
• 대칭 양의 정부호 행렬의 다양체 위에서 거리 측정 학습을 비제약, 부드럽고 엄밀히 볼록 최적화 문제로 공식화하기 위해.
• 유사도 및 이질도 행렬의 기하 평균에서 자연스럽게 유도되는 닫힌 형태의 해를 도출하여 전역 최적성과 해석 가능성 보장하기 위해.
• 분류 정확도 및 계산 효율성 측면에서 최신 기술인 LMNN 및 ITML와의 성능을 검증하기 위해.
• 고차원 및 많은 학습 샘플을 포함한 대규모 데이터셋에서의 확장성과 강인성 입증하기 위해.

제안 방법

• 이 방법은 대칭 양의 정부호(SPD) 행렬의 리만 다양체 위에서 기하 평균 기반 목적 함수를 최소화하는 방식으로 거리 측정 학습을 공식화한다.
• 경험적 유사도 및 이질도 행렬의 행렬 기하 평균에서 유도된 닫힌 형태의 해를 도입함으로써 유일성과 안정성을 보장한다.
• 최적화는 부드럽고 엄밀히 볼록 문제로 재구성되어 반복적 해법이 필요 없이 유일한 전역 최소화점을 보장한다.
• 이 방법은 리만 기하학을 활용하여 자연스럽게 SPD 제약 조건을 통합하고, 해를 데이터 유도 행렬의 가중 기하 평균으로 해석한다.
• 유사도 행렬이 조건이 나쁘거나 가역적이지 않은 경우를 대비해 Tikhonov 유형 정규화를 사용한 정규화된 변형을 도입하였으며, 정규화 파라미터 λ=0.1을 사용한다.
• MATLAB을 활용해 효율적으로 구현되었으며, 하이퍼파ram터 튜닝을 위해 5개의 교차 검증을 사용한 k-NN 분류기로 평가되었다.

실험 결과

연구 질문

• RQ1 거리 측정 학습을 기하학적으로 원리에 기반해 공식화하면, 해석 가능하고 계산적으로 효율적인 닫힌 형태의 해를 도출할 수 있는가?
• RQ2 행렬 기하 평균 기반의 닫힌 형태 거리 측정 학습 방법은 LMNN 및 ITML와 같은 반복적 방법에 비해 분류 정확도 측면에서 어떻게 비교되는가?
• RQ3 이러한 방법은 데이터 차원 수와 학습 샘플 수 증가에 따라 어느 정도 확장 가능한가?
• RQ4 SPD 다양체 위에서 기하 평균 공식화는 다른 볼록 최적화 기반 거리 측정 학습 방법에 비해 내재된 강인성과 안정성을 제공하는가?
• RQ5 유사도 행렬이 랭크 결손이 있거나 가역적이지 않은 경우에도 이 방법은 높은 정확도를 유지할 수 있는가?

주요 결과

• Gmml는 Letters, USPS, MNIST, Isolet 등 모든 테스트 데이터셋에서 LMNN 및 ITML와 동등하거나 뛰어난 분류 오차율을 달성한다.
• Letters 및 USPS 데이터셋에서는 LMNN의 최고 성능을 그대로 유지하지만, 한 데이터셋에선 상당히 뛰어나고 다른 하나에선 뒤지지 않는 성능을 보였다.
• Isolet 및 MNIST 데이터셋에서는 1000c(c−1)개의 데이터 쌍을 사용함으로써 Gmml의 정확도가 각각 약 1%와 0.5% 향상되었으며, FlatGeo를 능가했다.
• Gmml는 LMNN 및 ITML보다 최대 세 개의 주기 빠른 속도를 기록했으며, Letters 데이터셋에선 0.0137초, MNIST에선 1.6795초의 런타임을 기록했고, LMNN는 400초 이상 소요되었다.
• 모든 데이터셋에서 Gmml는 가장 빠른 런타임을 기록했으며, FlatGeo 및 ITML와 비교해도 계산 효율성이 유지되었다.
• λ=0.1을 사용한 정규화된 Gmml의 변형은 MNIST에서 비가역적인 유사도 행렬을 성공적으로 처리하여 안정적인 성능을 보였다.