[논문 리뷰] Parametric Local Metric Learning for Nearest Neighbor Classification

Jun Wang, Adam Woźnica외 1명|arXiv (Cornell University)|2012. 09. 13.

Face and Expression Recognition참고 문헌 19인용 수 67

한 줄 요약

이 논문은 국소적 거리 측도를 기반으로 한 매개변수화된 국소 거리 측도 학습(PLML)을 제안한다. 이 방법은 기준점에서 유도된 기저 거리 측도의 선형 조합으로 국소적 거리 측도를 모델링하고, 데이터 다양체 위에서의 매끄러운 거리 측도 행렬 함수를 학습하며, 다양체 제약 조건을 통해 과적합을 방지한다. PLML는 대규모 데이터셋에서 최신의 글로벌 및 국소 거리 측도 학습 방법과 SVM(자동 커널 선택)보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

We study the problem of learning local metrics for nearest neighbor classification. Most previous works on local metric learning learn a number of local unrelated metrics. While this "independence" approach delivers an increased flexibility its downside is the considerable risk of overfitting. We present a new parametric local metric learning method in which we learn a smooth metric matrix function over the data manifold. Using an approximation error bound of the metric matrix function we learn local metrics as linear combinations of basis metrics defined on anchor points over different regions of the instance space. We constrain the metric matrix function by imposing on the linear combinations manifold regularization which makes the learned metric matrix function vary smoothly along the geodesics of the data manifold. Our metric learning method has excellent performance both in terms of predictive power and scalability. We experimented with several large-scale classification problems, tens of thousands of instances, and compared it with several state of the art metric learning methods, both global and local, as well as to SVM with automatic kernel selection, all of which it outperforms in a significant manner.

연구 동기 및 목표

• 수많은 국소 거리 측도를 독립적으로 학습함으로써 발생하는 과적합 문제를 해결하기 위해.
• 근접한 이웃 분류의 예측 성능을 향상시키기 위해 데이터 다양체를 고려한 매끄러운 거리 측도 행렬 함수를 학습하기 위해.
• 대규모 분류 문제에 대해 국소 거리 측도를 효율적이고 확장 가능한 방식으로 학습하기 위해.
• 이전의 국소 거리 측도 학습 방법에서 흔히 볼 수 있는 강력한 생성 가정이나 민감한 모수 설정에 대한 의존도를 줄이기 위해.

제안 방법

• 작은 수의 기준점에서 유도된 기저 거리 측도 행렬의 선형 조합으로 각 인스턴스의 국소 거리 측도를 매개변수화한다. 이는 근사 오차 한계에서 유도된다.
• 다양체 정규화를 사용하여 선형 조합 가중치가 데이터 다양체를 따라 매끄럽게 변화하도록 보장함으로써 국소 거리 측도가 연속적으로 변화하도록 한다.
• 거리 측도 행렬에 양정치성(PSD) 제약 조건을 포함한 제약 조건이 있는 최적화 문제로 학습 문제를 공식화한다.
• 두 단계 학습 과정을 효율적으로 해결하기 위해 FISTA(빠른 일阶 최적화 알고리즘)를 적용한다: 먼저 선형 조합을 최적화하고, 그 다음 기준점의 기저 거리 측도를 최적화한다.
• 삼중항 제약 조건과 다양체 정규화를 포함한 손실 함수를 최소화함으로써 거리 측도 행렬 함수를 학습한다.
• 두 단계 최적화를 수행한다: 먼저 선형 조합의 계수(가중치)를 최적화하고, 그 다음 기준점에서의 기저 거리 측도를 최적화한다.

실험 결과

연구 질문

• RQ1 데이터 다양체 위에서 매개변수화되고 매끄러운 거리 측도 행렬 함수는 국소 거리 측도 학습의 일반화 성능을 향상시킬 수 있는가?
• RQ2 독립적 거리 측도 학습에 비해 다양체 정규화가 국소 거리 측도 학습에서 과적합을 효과적으로 줄일 수 있는가?
• RQ3 대규모 데이터셋에서 PLML의 성능은 최신 기술의 글로벌 및 국소 거리 측도 학습 방법과 비교해 어떻게 되는가?
• RQ4 기저 거리 측도의 수가 PLML의 예측 성능에 얼마나 큰 영향을 미치는가?
• RQ5 PLML는 다양한 분류 문제에서 자동 커널 선택 기능을 갖춘 SVM의 성능을 달성하거나 초월할 수 있는가?

주요 결과

• PLML는 여섯 개의 데이터셋에서 총점 37점으로 가장 높은 성과를 기록했으며, SVM(자동 커널 선택)의 32.5점과 비교해 모든 방법보다 뛰어났다.
• PLML는 여섯 데이터셋 중 다섯 개에서 글로벌 거리 측도 학습 방법(LMNN, BoostMetric, SML)보다 뚜렷이 뛰어났고, Isolet 데이터셋에서만 약간의 정확도 저하가 있었다.
• PLML는 매끄러움 제약 조건이 없는 두 가지 국소 방법(CBLML, LMNN-MM)보다 모든 데이터셋에서 통계적으로 유의미하게 뛰어나며, 다양체 정규화가 과적합을 줄이는 데 효과적임을 입증했다.
• PLML의 성능은 기저 거리 측도의 수가 증가함에 따라 향상되었고, 데이터를 모델링하기에 충분한 수에 도달하면 포화 상태에 이를 것으로 나타나 과적합이 발생하지 않았다. 이는 CBLML와는 대조적으로, 더 많은 기저 거리 측도를 사용할수록 성능이 떨어지는 경향을 보였다.
• MNIST 기반의 숫자 분류 작업에서 PLML는 82.76%의 정확도를 기록했으며, CBLML(82.59%), LMNN-MM(82.56%), GLML(82.51%)을 모두 앞섰고, 더 매끄럽고 데이터에 잘 맞는 국소 거리 측도를 제공했다.
• PLML는 기준점의 목표 위치 수동 조정이나 강력한 모델 가정이 필요로 하지 않으며, GLML나 최소 제곱 접근법과 같은 이전 방법들과는 달리 다양한 데이터셋에서 뛰어난 성능을 유지했다.