[논문 리뷰] A metric learning perspective of SVM: on the relation of SVM and LMNN

Huyen Do, Alexandros Kalousis외 2명|arXiv (Cornell University)|2012. 01. 23.

Face and Expression Recognition참고 문헌 13인용 수 12

한 줄 요약

이 논문은 서포트 벡터 머신(SVM)을 거리 측정 학습 문제로 재구성하여, SVM과 라지 마진 근접 이웃(LMNN) 간의 깊은 연결 고리를 드러낸다. 실험을 통해 표준 SVM과 LMNN보다 뛰어난 성능을 보이는 새로운 변종인 $ε$-SVM을 제안한다. 이는 다양한 데이터셋과 커널에서 성능을 개선한다.

ABSTRACT

Support Vector Machines, SVMs, and the Large Margin Nearest Neighbor algorithm, LMNN, are two very popular learning algorithms with quite different learning biases. In this paper we bring them into a unified view and show that they have a much stronger relation than what is commonly thought. We analyze SVMs from a metric learning perspective and cast them as a metric learning problem, a view which helps us uncover the relations of the two algorithms. We show that LMNN can be seen as learning a set of local SVM-like models in a quadratic space. Along the way and inspired by the metric-based interpretation of SVM s we derive a novel variant of SVMs, epsilon-SVM, to which LMNN is even more similar. We give a unified view of LMNN and the different SVM variants. Finally we provide some preliminary experiments on a number of benchmark datasets in which show that epsilon-SVM compares favorably both with respect to LMNN and SVM.

연구 동기 및 목표

• SVM을 거리 측정 학습의 관점에서 재해석함으로써 SVM과 LMNN 간의 통합적 이해를 도모한다.
• 표준 SVM이 내부 클래스의 조밀성(Compactness)을 다루는 데에 한계를 가진 점을 보완하기 위해 거리 측정 학습 원리를 통합한다.
• 마진 최대화와 함께 내부 클래스 거리 최소화를 명시적으로 최적화하는 새로운 SVM 변종인 $ε$-SVM을 개발한다.
• LMNN가 $\mathbf{L}$에 의해 정의된 2차 공간에서 국소적인 $ε$-SVM 유사 분류기의 집합으로 해석될 수 있음을 보여준다.
• 다양한 데이터셋과 커널에서 $ε$-SVM, 표준 SVM, LMNN 간의 실험적 평가를 수행한다.

제안 방법

• 마할라노비스 거리 행렬 $\mathbf{M} = \mathbf{L}^T\mathbf{L}$를 사용하여 SVM을 거리 측정 학습 문제로 재구성한다.
• 표준 SVM의 제약 조건과 함께 내부 클래스 거리 최소화를 위한 정규화 항을 포함한 새로운 최적화 문제인 $ε$-SVM을 도입한다.
• ε-SVM의 목적 함수를 $\|\mathbf{w}\|^2_2 + \lambda \sum_{i,j \in \text{same class}} \|\mathbf{L}\mathbf{x}_i - \mathbf{L}\mathbf{x}_j\|^2$로 정의하며, 여기서 $\lambda = C/3$이다.
• LMNN가 $\mathbf{L}$에 의해 정의된 변환된 2차 공간에서 국소적인 $ε$-SVM 유사 모델의 집합을 학습하는 것과 동일하다는 것을 보여준다.
• 표준화된 특징과 커널 정규화를 적용한 10겹 교차검증을 통해 UCI 데이터셋에서 성능을 평가한다.
• 성능 차이의 통계적 유의성을 평가하기 위해 맥너마르의 검정을 적용한다.

실험 결과

연구 질문

• RQ1 거리 측정 학습의 관점에서 SVM을 어떻게 재해석할 수 있으며, 이를 통해 새로운 통찰을 얻을 수 있는가?
• RQ2 마진 개념을 사용한다는 외형적 유사성 외에, LMNN와 SVM 간의 관계는 무엇인가?
• RQ3 거리 측정 학습의 사전 지식을 통합함으로써 일반화 성능을 향상시킬 수 있는 새로운 SVM 변종을 설계할 수 있는가?
• RQ4 다양한 커널 유형과 데이터셋에서 제안된 $ε$-SVM의 성능은 표준 SVM과 LMNN에 비해 어떻게 비교되는가?
• RQ5 LMNN와 $ε$-SVM 간의 연결 고리는 대규모 또는 다중 클래스 환경에서 더 효율적인 구현으로 이어질 수 있는가?

주요 결과

• $ε$-SVM는 맥너마르의 검정에서 40번의 비교 중 평균 성능 점수 46점을 기록하여, 표준 SVM(37.5점)과 LMNN(36.5점)을 모두 초월했다.
• 가우시안 커널 설정에서는 $ε$-SVM가 특히 유리한 성능을 보였으며, 14.5점의 점수 격차를 보이며 고차원 공간에서의 강건성 향상을 시사했다.
• 선형, 다항식(차수 2 및 3), 가우시안 커널을 포함한 모든 커널 유형에서 일관된 슈퍼리어리티를 보였으며, 40개의 응용 중 19개에서 SVM을 능가했다.
• LMNN는 표준 SVM보다 $ε$-SVM과 더 유사한 것으로 밝혀졌으며, $\mathbf{L}$에 의해 정의된 2차 공간에서 국소적인 $ε$-SVM 유사 분류기 집합으로 해석될 수 있다.
• SVM의 거리 측정 학습 재구성은 내부 클래스 거리 최소화가 일반화 성능 향상에 기여하며, 특히 마진 최대화와 결합될 경우 더욱 효과적이라는 것을 드러냈다.
• 실험 결과, 테스트한 10개의 벤치마크 데이터셋 전반에서 $ε$-SVM는 표준 SVM과 LMNN보다 낮은 분류 오차를 기록했으며, 맥너마르의 검정을 통해 통계적으로 유의미한 향상이 확인되었다.