[논문 리뷰] Supervised Metric Learning with Generalization Guarantees

Aurélien Bellet|arXiv (Cornell University)|2013. 07. 17.

Machine Learning and Algorithms참고 문헌 185인용 수 7

한 줄 요약

이 학위논문은 이론적 일반화 보장을 갖춘 지도형 거리학습을 위한 새로운 프레임워크를 제안하며, 학습된 편집 확률에 기반한 하이퍼파rameter가 없는 스트링 커널과 구조적 데이터(문자열, 트리) 및 벡터 데이터에서 $(\epsilon,\gamma,\tau)$-좋은 유사도를 학습하기 위한 볼록 최적화 방법을 도입한다. 주요 기여는 선형 분류기의 일반화 오차에 대해 더 날카운 일반화 경계를 확립하는 통합된 이론적 분석으로, 기존 거리학습 기법에서 간과되어 온 일반화 문제를 해결한다.

ABSTRACT

The crucial importance of metrics in machine learning algorithms has led to an increasing interest in optimizing distance and similarity functions, an area of research known as metric learning. When data consist of feature vectors, a large body of work has focused on learning a Mahalanobis distance. Less work has been devoted to metric learning from structured objects (such as strings or trees), most of it focusing on optimizing a notion of edit distance. We identify two important limitations of current metric learning approaches. First, they allow to improve the performance of local algorithms such as k-nearest neighbors, but metric learning for global algorithms (such as linear classifiers) has not been studied so far. Second, the question of the generalization ability of metric learning methods has been largely ignored. In this thesis, we propose theoretical and algorithmic contributions that address these limitations. Our first contribution is the derivation of a new kernel function built from learned edit probabilities. Our second contribution is a novel framework for learning string and tree edit similarities inspired by the recent theory of (e,g,t)-good similarity functions. Using uniform stability arguments, we establish theoretical guarantees for the learned similarity that give a bound on the generalization error of a linear classifier built from that similarity. In our third contribution, we extend these ideas to metric learning from feature vectors by proposing a bilinear similarity learning method that efficiently optimizes the (e,g,t)-goodness. Generalization guarantees are derived for our approach, highlighting that our method minimizes a tighter bound on the generalization error of the classifier. Our last contribution is a framework for establishing generalization bounds for a large class of existing metric learning algorithms based on a notion of algorithmic robustness.

연구 동기 및 목표

• 기존의 지도형 거리학습 방법들, 특히 선형 분류기와 같은 글로벌 알고리즘에서 이론적 일반화 보장이 부족한 문제를 해결한다.
• 현재의 방법들이 국소 알고리즘(예: k-NN)에만 초점을 맞추고 일반화 성능를 忽略하는 한계를 극복한다.
• 학습된 유사도 함수가 새로운 데이터로 일반화되는 것을 보장하는 체계적인 접근법을 개발한다.
• $(\epsilon,\gamma,\tau)$-좋은 유사도 함수의 이론을 구조적 객체(문자열, 트리)와 벡터 데이터 모두에 확장한다.
• 기존의 다양한 거리학습 알고리즘에 적용 가능한 통합된 이론적 프레임워크를 제공하여 알고리즘의 강건성에 기반한 일반화 경계를 도출한다.

제안 방법

• 학습된 편집 확률에 기반한 하이퍼파rameter가 없는 스트링 커널을 제안하여, 초모수 조정 없이도 유효성을 보장한다.
• $(\epsilon,\gamma,\tau)$-좋은 성질 기준에 기반한 볼록 최적화 문제로 문자열 및 트리에 대한 거리학습을 공식화하여 강건성과 일반화를 확보한다.
• 선형 분류에 적합한 글로벌 제약 조건을 포함한, 벡터 데이터를 위한 이차형 유사도 학습 방법을 도입한다.
• 균일 안정성 이론을 활용하여 학습된 유사도에 기반한 선형 분류기의 일반화 오차 경계를 유도한다.
• 알고리즘의 강건성 개념을 변형하여 다양한 손실 함수와 정규화 항을 갖는 거리학습 알고리즘에 적용 가능한 일반화 경계를 도출한다.
• 유사도 함수의 $(\epsilon,\gamma,\tau)$-좋음 성질과 후행 선형 분류기의 일반화 오차 사이의 이론적 연결 고리를 확립한다.

실험 결과

연구 질문

• RQ1 학습된 편집 확률에서 유도된 유효하고 하이퍼파rameter가 없는 스트링 커널을 구성할 수 있으며, 이는 후속 분류에서 일반화를 보장할 수 있는가?
• RQ2 구조적 데이터(문자열, 트리)에 대한 거리학습을 $(\epsilon,\gamma,\tau)$-좋은 성질 기준에 기반한 볼록 최적화 문제로 공식화할 수 있는가? 이 경우 이론적 일반화 보장이 가능한가?
• RQ3 $(\epsilon,\gamma,\tau)$-좋은 성질 프레임워크를 선형 분류기와 적합한 글로벌 제약 조건을 갖는 벡터 기반 거리학습으로 확장할 수 있는가?
• RQ4 유사도 함수의 $(\epsilon,\gamma,\tau)$-좋음 성질과 선형 분류기의 일반화 오차 사이의 관계는 무엇인가?
• RQ5 알고리즘의 강건성에 기반하여 다양한 거리학습 알고리즘에 대한 일반화 경계를 도출할 수 있는 통합된 이론적 프레임워크를 개발할 수 있는가?

주요 결과

• 학습된 편집 확률에 기반한 제안된 스트링 커널은 유효한 커널임이 보장되며, 하이퍼파ram터 조정이 필요 없다.
• $(\epsilon,\gamma,\tau)$-좋은 유사도를 학습하기 위한 볼록 최적화 프레임워크는 문자열 및 트리 데이터에 기반한 선형 분류기의 이론적 일반화 경계를 보장한다.
• 벡터 데이터를 위한 이차형 유사도 학습 방법은 글로벌 제약 조건을 통합함으로써 이전 방법보다 더 날카운 일반화 오차 경계를 달성한다.
• 균일 안정성 이론을 통해 유도된 일반화 경계는 학습된 유사도 함수가 새로운 데이터에서 통제 가능한 일반화 오차를 갖는 분류기를 유도함을 보여준다.
• 제안된 알고리즘 강건성 프레임워크를 통해 다양한 손실 함수와 정규화 항을 갖는 거리학습 알고리즘에 대한 일반화 경계 유도가 가능해진다.
• 이론적 분석은 제안된 방법이 기존 거리학습 접근법보다 선형 분류기의 일반화 오차에 대해 더 날카운 경계를 최소화함을 확인한다.