[논문 리뷰] Metric Learning via Maximizing the Lipschitz Margin Ratio

Mingzhi Dong, Xiaochen Yang외 2명|arXiv (Cornell University)|2018. 02. 09.

Face and Expression Recognition참고 문헌 15인용 수 3

한 줄 요약

이 논문은 상호 클래스 간 간격과 내부 클래스의 조밀함을 동시에 최적화함으로써 상호 클래스 간 분離도 대비 내부 클래스 산산의 비율을 최대화하는 새로운 메트릭 학습 프레임워크인 리프시츠 마진 비율을 제안한다. 이 방법은 기존 알고리즘인 LMNN 및 MCML을 포함하는 이론적으로 타당한 최적화를 통해 일반화 능력을 향상시키며, 여덟 개인 벤치마크 데이터셋에서 최고 수준의 정확도와 강건성을 달성한다.

ABSTRACT

In this paper, we propose the Lipschitz margin ratio and a new metric learning framework for classification through maximizing the ratio. This framework enables the integration of both the inter-class margin and the intra-class dispersion, as well as the enhancement of the generalization ability of a classifier. To introduce the Lipschitz margin ratio and its associated learning bound, we elaborate the relationship between metric learning and Lipschitz functions, as well as the representability and learnability of the Lipschitz functions. After proposing the new metric learning framework based on the introduced Lipschitz margin ratio, we also prove that some well known metric learning algorithms can be shown as special cases of the proposed framework. In addition, we illustrate the framework by implementing it for learning the squared Mahalanobis metric, and by demonstrating its encouraging results on eight popular datasets of machine learning.

연구 동기 및 목표

• 보다 향상된 일반화 능력을 위해 상호 클래스 간 간격과 내부 클래스 산산을 통합하는 통합된 메트릭 학습 프레임워크를 개발하는 것.
• 메트릭 학습과 리프시츠 함수 간의 기하학적이고 이론적인 연결 고리를 확립하여 더 강력한 표현력과 학습 가능성을 확보하는 것.
• 기존의 잘 알려진 메트릭 학습 알고리즘(LMNN, MCML 등)이 제안된 프레임워크의 특수한 경우임을 입증하는 것.
• 다양한 데이터셋에서 제안된 프레임워크의 효과성을 실증적으로 검증하기 위해 제곱 맥칼로비안 메트릭에 기반한 구현을 수행하는 것.

제안 방법

• 리프시츠 함수 이론을 활용하여 상호 클래스 간 간격과 내부 클래스 산산의 비율로 정의된 리프시츠 마진 비율을 도입한다.
• 리프시츠 마진 비율을 최대화하는 것이 분류기의 일반화 능력을 향상시킨다는 것을 정당화하기 위해 일반화 경계를 유도한다.
• 리프시츠 마진 비율을 최대화하는 볼록 최적화 프레임워크를 제안하며, 직경과 내부 클래스 항목을 통한 적응형 정규화를 적용한다.
• ADMM와 CVX를 활용하여 제곱 맥칼로비안 메트릭의 효율적 최적화를 위한 프레임워크를 구현한다.
• 근접한 이웃 분류 성능 향상을 위해 거리 메트릭을 학습하기 위해 프레임워크를 적용한다.
• 리프시츠 상수의 비연속성 문제를 다루기 위해 이중 형태를 사용한다.

실험 결과

연구 질문

• RQ1 상호 클래스 간 간격과 내부 클래스 조밀함을 동시에 최적화할 수 있는 통합된 메트릭 학습 프레임워크를 개발할 수 있는가?
• RQ2 리프시츠 마진 비율은 메트릭 학습에서 일반화 성능과 어떻게 관련이 있는가?
• RQ3 기존의 메트릭 학습 알고리즘이 리프시츠 마진 비율 기반의 보편적 프레임워크의 특수한 경우로 해석될 수 있는가?
• RQ4 리프시츠 마진 비율을 최대화하면 다양한 데이터셋에서 분류 정확도가 향상되는가?
• RQ5 내부 클래스의 이방성 또는 노이즈가 있는 데이터 상황에서 제안된 방법의 성능은 어떠한가?

주요 결과

• 제안된 Lip D 및 Lip I 방법은 여덟 개 데이터셋 중 네 개에서 평균 정확도가 가장 높으며, Fertility 데이터셋에서는 모든 베이스라인을 능가하는 성능을 보였다.
• Australian 데이터셋에서 Lip D 및 Lip I는 평균 정확도 80.90%를 기록하여 LMNN(79.96%) 및 MCML(79.89%)를 모두 초월했다.
• Fourclass 데이터셋에서는 Lip D 및 Lip I가 99.91%의 정확도를 달성하여 모든 방법 중 최고 성능을 기록했다.
• 이 방법은 여덟 개 데이터셋 중 일곱 개에서 1-NN 및 NCA를, 다섯 개에서 LMNN 및 MCML을 모두 능가했다.
• Fertility를 제외한 모든 데이터셋에서 제안된 방법과 LMNN 또는 MCML 간의 성능 격차는 0.5% 이내였으며, Fertility에서는 내부 클래스 이방성이 원인으로 성능이 열 劣하였다.
• 프레임워크가 LMNN 및 MCML를 특수한 경우로 포함함을 입증하여 이론적 일반성의 타당성을 확인했다.