[논문 리뷰] A Summary Of The Kernel Matrix, And How To Learn It Effectively Using Semidefinite Programming

Amir-Hossein Karimi|arXiv (Cornell University)|2017. 09. 18.

Face and Expression Recognition참고 문헌 8인용 수 4

한 줄 요약

이 논문은 전도성 서포트 벡터 머신(SVMs)을 위한 데이터로부터 직접 커널 행렬을 학습하는 데 반정적계획법(SDP) 기반 방법을 제안한다. 이는 커널 행렬과 2-norm 소프트 마진 파라미터 $\tau = 1/C$를 동시에 최적화할 수 있게 하며, 다항시간 복잡도를 확보하고 기존 방법에 비해 수치적 안정성과 성능을 향상시킨다.

ABSTRACT

Kernel-based learning algorithms are widely used in machine learning for problems that make use of the similarity between object pairs. Such algorithms first embed all data points into an alternative space, where the inner product between object pairs specifies their distance in the embedding space. Applying kernel methods to partially labeled datasets is a classical challenge in this regard, requiring that the distances between unlabeled pairs must somehow be learnt using the labeled data. In this independent study, I will summarize the work of G. Lanckriet et al.'s work on "Learning the Kernel Matrix with Semidefinite Programming" used in support vector machines (SVM) algorithms for the transduction problem. Throughout the report, I have provide alternative explanations / derivations / analysis related to this work which is designed to ease the understanding of the original article.

연구 동기 및 목표

• 부분적으로 레이블이 부여된 데이터셋에서 전도성 학습을 위한 최적의 커널 행렬을 학습하는 데 도전하는 것.
• 시험 예측의 수에 따라 지수적 증가를 피하는 다항시간 알고리즘을 개발하는 것.
• 반정적계획법을 사용하여 커널 행렬과 2-norm 소프트 마진 파라미터 $\tau = 1/C$를 동시에 최적화하는 것.
• 기본 커널 행렬의 양의 선형 조합을 학습함으로써 수치적 안정성과 분류 성능을 향상시키는 것.
• 2-norm 소프트 마진 SVMs에서 $\tau = 1/C$ 파라미터를 자동으로 조정하는 문제를 해결하는 것.

제안 방법

• 양의 준정부정성과 트레이스 정규화 조건을 만족시키는 제약 조건을 포함한 반정적계획문제(SDP)로 커널 행렬 학습 문제를 수식화한다.
• 하드 마진, 1-norm, 2-norm 소프트 마진 케이스를 통합하는 일반화된 이중형식을 유도한다.
• 커널 행렬을 SDP의 변수로 사용함으로써, 가중치 $\mu_i \geq 0$를 갖는 커널 가중합 $\mathcal{K} = \{ \sum_{i=1}^m \mu_i K_i \mid \mu_i \geq 0 \}$의 가족에 대해 최적화할 수 있도록 한다.
• 단일 SDP 솔버를 사용하여 이중성 갭을 최소화하는 데 목적이 있는 연합 원-이중 최적화 프레임워크를 도입하며, 복잡도는 $O((m + n_{tr})^2 n^{2.5})$이다.
• SDP 프레임워크를 활용해 커널 행렬과 파라미터 $\tau = 1/C$를 동시에 학습함으로써 자동 하이퍼파rameter 조정을 가능하게 한다.
• 스푸르 컴플리먼트를 사용하여 이중 문제를 표준 SDP 형태로 재구성함으로써 볼록성과 해법 가능성 보장.

실험 결과

연구 질문

• RQ1 반정적계획법을 사용하여 데이터로부터 직접 커널 행렬을 학습함으로써 전도성 성능을 향상시킬 수 있는가?
• RQ2 2-norm 소프트 마진 파라미터 $\tau = 1/C$는 커널 학습 프레임워크 내에서 어떻게 자동으로 조정될 수 있는가?
• RQ3 기본 커널들의 양의 선형 조합으로 이루어진 커널 행렬 학습의 계산 복잡도는 어떠한가?
• RQ4 원-이중 변수의 연합 최적화는 이중성 갭을 줄이고 수렴을 향상시킬 수 있는가?
• RQ5 구조화된 커널 행렬을 학습함으로써 고정된 커널 선택에 비해 수치적 안정성과 일반화 성능이 향상되는가?

주요 결과

• 제안된 SDP 기반 방법은 기존 바프니크의 원래 전도성 방법이 시험 예측 수에 따라 지수적으로 증가하는 것과는 달리, 시험 예측 수에 대해 다항시간 복잡도를 확보한다.
• 커널 행렬과 $\tau = 1/C$를 동시에 최적화함으로써 소프트 마진 파라미터의 자동 조정이 가능해지며, 출간 당시 미해결이었던 문제를 해결한다.
• 기본 커널 행렬의 양의 선형 조합($K = \sum \mu_i K_i$)을 학습함으로써 수치적 안정성이 향상되고 계산 복잡도가 $O(m n_{tr}^3)$로 감소한다.
• 연합 원-이중 최적화를 통해 이중성 갭이 감소하며, 수렴 복잡도는 $O((m + n_{tr})^2 n^{2.5})$이다.
• SDP 수식은 학습된 커널 행렬이 양의 준정부정성을 유지하도록 보장하여 특성 공간의 기하학적 구조를 보존한다.
• 하드 마진, 1-norm, 2-norm 소프트 마진 SVMs를 통합하는 일반화된 성능 측정 기준으로 이중 목표를 통합함으로써 프레임워크의 일반화 능력을 향상시킨다.