[논문 리뷰] Learning Neighborhoods for Metric Learning

Jun Wang, Adam Woźnica외 1명|arXiv (Cornell University)|2012. 06. 28.

Face and Expression Recognition참고 문헌 15인용 수 6

한 줄 요약

이 논문은 거리 메트릭과 목표 이웃 구조를 이원적 반복 프로세스를 통해 공동 최적화하는 새로운 메트릭 학습 프레임워크인 메트릭 학습을 위한 학습 이웃(LNML)을 제안한다. 개별 인스턴스에 맞는 이웃 할당을 통해 품질이 높은 인스턴스가 더 많은 이웃을 가질 수 있도록 함으로써, 다양한 분류 데이터셋에서 최신 기술 수준의 성능을 달성하며, 사전에 고정된 이웃을 사용하는 전통적인 메트릭 학습 방법들을 능가한다.

ABSTRACT

Metric learning methods have been shown to perform well on different learning tasks. Many of them rely on target neighborhood relationships that are computed in the original feature space and remain fixed throughout learning. As a result, the learned metric reflects the original neighborhood relations. We propose a novel formulation of the metric learning problem in which, in addition to the metric, the target neighborhood relations are also learned in a two-step iterative approach. The new formulation can be seen as a generalization of many existing metric learning methods. The formulation includes a target neighbor assignment rule that assigns different numbers of neighbors to instances according to their quality; `high quality' instances get more neighbors. We experiment with two of its instantiations that correspond to the metric learning algorithms LMNN and MCML and compare it to other metric learning methods on a number of datasets. The experimental results show state-of-the-art performance and provide evidence that learning the neighborhood relations does improve predictive performance.

연구 동기 및 목표

• 기존 메트릭 학습 방법에서 사전에 고정된 이웃을 사용하는 한계를 해결하기 위해, 분류 성능에 최적화되지 않을 수 있는 고정된 이웃의 문제를 해결한다.
• 마할라노비스 메트릭과 목표 이웃 구조를 동시에 학습하는 통합 프레임워크를 개발한다.
• 인스턴스의 품질에 따라 각 인스턴스의 이웃 수를 다양하게 설정함으로써 적응성과 예측 정확도를 향상시킨다.
• 이웃 구조를 학습하는 것이 고정된 이웃 가정보다 더 우수한 일반화 성능을 달성하는지 확인한다.

제안 방법

• 거리 메트릭과 목표 이웃 행렬 P를 공동으로 학습하는 최적화 문제로 메트릭 학습을 공식화하며, 이중 반복 알고리즘을 사용한다.
• 정수 0-1 해를 보장하기 위해 전체 무모듈러성(_totally unimodular_) 제약 행렬을 사용한 선형 프로그래밍 공식화를 사용한다.
• 분류 성능에 기여할 잠재력이 높은 인스턴스일수록 더 많은 이웃을 할당하는 동적 이웃 할당 규칙을 도입한다.
• 표준 메트릭 학습 알고리즘인 LMNN와 MCML을 제안된 프레임워크의 특수화된 사례로 간주하여, LN-LMNN와 LN-MCML를 도출한다.
• 메트릭 학습 과정에서 변화하는 이웃 관계를 모델링하기 위해 소프트맥스 함수를 사용하여 유연한 이웃 선택을 가능하게 한다.
• 교차 검증을 통해 이웃 수 파라미터를 튜닝하며, 다양한 데이터셋에서 최적의 성능을 내기 위해 k=3 또는 k=5에서 성능이 우수함을 확인했다.

실험 결과

연구 질문

• RQ1 메트릭 학습 과정에서 목표 이웃 구조를 학습하는 것이 고정된 이웃보다 분류 성능을 향상시키는가?
• RQ2 인스턴스의 품질에 기반한 동적 이웃 크기 할당 방식이 메트릭 학습 성능에 어떤 영향을 미치는가?
• RQ3 제안된 메트릭과 이웃 구조의 공동 최적화가 최신 기술 수준의 메트릭 학습 방법을 능가하는가?
• RQ4 이웃 크기가 예측 정확도에 어떤 영향을 미치며, 다양한 데이터셋 간 최적의 값이 존재하는가?
• RQ5 제안된 프레임워크는 기존의 메트릭 학습 알고리즘인 LMNN와 MCML에 효과적으로 적용될 수 있는가?

주요 결과

• LN-LMNN(CV)는 소형 데이터셋에서 총 점수 22.0을 기록하여 LMNN 및 기타 기준 방법들을 크게 앞서며 최고 성능을 달성했다.
• 대형 데이터셋에서는 LN-LMNN(CV)가 총 점수 41.5를 기록하여 PCA+LMNN(33)과 PCA+NCA(8.5)를 모두 앞서며 뛰어난 일반화 성능을 입증했다.
• 와인 데이터셋에서 LN-MCML는 96.07%의 정확도를 기록하여 MCML의 91.57%보다 4.5%포인트 높은 성능을 보였다.
• 소나르 데이터셋에서는 LN-LMNN(CV)가 92.02%의 정확도를 달성하여 LMNN(81.25%)와 NCA(81.73%)를 뛰어넘었다.
• McNemar’s 검정 결과, LN-LMNN(CV)는 7개 데이터셋 중 5개에서 LMNN를 유의미하게 앞섰으며, 승리에 대한 p-값이 0.05 이하로 유의미했다.
• MNIST와 Letter와 같은 다양한 데이터셋에서도 강건한 성능을 보이며, 페어웨이즈 비교에서 최고 점수를 기록했다.