[논문 리뷰] Support Vector Machine Classification with Indefinite Kernels

Ronny Luss, Alexandre d’Aspremont|ArXiv.org|2008. 04. 01.

Sparse and Compressive Sensing Techniques참고 문헌 19인용 수 17

한 줄 요약

이 논문은 비정재성 양자화된 커널(즉, 정재성 반정의가 아닌 커널)을 사용한 서포트 벡터 머신(SVM) 분류를 위한 볼록 최적화 프레임워크를 제안한다. 이 방법은 동시에 서포트 벡터 가중치와 보조 정재성 반정의 커널 행렬을 학습함으로써, 비정재성 커널을 진정한 머서 커널의 노이즈 있는 관측치로 간주하고, 그로부터의 이탈을 제약함으로써 비볼록 문제를 볼록 문제로 전환한다. 이는 투사된 경사하강법 또는 해석 중심 잘라내기 평면 방법(ACCPM)을 통해 보장된 수렴성과 대규모 데이터셋에서의 효율적인 확장성을 갖춘 해결책을 제공한다.

ABSTRACT

We propose a method for support vector machine classification using indefinite kernels. Instead of directly minimizing or stabilizing a nonconvex loss function, our algorithm simultaneously computes support vectors and a proxy kernel matrix used in forming the loss. This can be interpreted as a penalized kernel learning problem where indefinite kernel matrices are treated as a noisy observations of a true Mercer kernel. Our formulation keeps the problem convex and relatively large problems can be solved efficiently using the projected gradient or analytic center cutting plane methods. We compare the performance of our technique with other methods on several classic data sets.

연구 동기 및 목표

• 비정재성 커널이 정재성 반정의가 아니므로 머서 조건을 위반하나, 경험적으로 효과적인 점을 해결하기 위해 비정재성 커널을 SVM 분류에 사용하는 데 도전하는 것.
• 비볼록 최적화나 히우리스틱 커널 변환을 피함으로써 성능이나 해석 가능성에 악영향을 미칠 수 있는 방법을 개발하는 것.
• 보조 커널이 원래의 비정재성 커널에서의 이탈을 최소화하는 저랭크 근사가 되도록, 비정재성 커널 학습을 제약된 커널 학습 문제로 프레임워크화하는 것.
• 커널 학습 구성요소에 대해 명시적인 해를 제공함으로써, 볼록 최적화 작업으로 재구성함으로써 계산 효율성과 수렴 보장을 확보하는 것.
• 이 프레임워크를 서포트 벡터 회귀 및 일변도 SVM과 같은 다른 커널 방법으로 확장하는 것.

제안 방법

• 비정재성 커널의 볼록 완화로 보조 커널 행렬을 도입하여, 보조 커널과 원래 커널 간의 차이의 프로베니우스 노름을 최소화한다.
• 손실이 보조 커널에 기반하는 제약 최적화 문제로 SVM 문제를 재구성함으로써 볼록성과 해석 가능성 확보.
• 커널 학습 하위 문제는 명시적으로 해결되어, 표준 커널 학습과 비교해 계산 복잡도를 감소시키는 SVM 이중 최적화와 분리된다.
• 투사된 경사하강법과 해석 중심 잘라내기 평면 방법(ACCPM)의 두 알고리즘이 사용되며, 모두 보장된 수렴성과 복잡도 한계를 갖는다.
• 비정재성 커널을 진정한 정재성 반정의 커널의 노이즈 있는 관측치로 간주하고, 커널 입력의 불확실성을 모델링한다.
• 반복 최적화 중 고유값 분해에서의 랭크-원 업데이트를 활용함으로써 대규모 훈련을 효율적으로 가능하게 한다.

실험 결과

연구 질문

• RQ1 비정재성 커널을 사용한 SVM 분류를 위한 볼록 최적화 프레임워크를 설계할 수 있는가? 이는 비볼록성과 히우리스틱 커널 수정을 피할 수 있는가?
• RQ2 비정재성 커널를 잘 근사하면서도 분류 성능을 유지할 수 있는 보조 커널을 명시적으로 학습할 수 있는가?
• RQ3 이 재구성된 볼록 문제를 해결하는 알고리즘의 수렴성 및 계산 복잡도 특성은 무엇인가?
• RQ4 정확도와 효율성 측면에서 기존 방법(예: 스펙트럼 커널 변환 또는 pE-공간 임bedding)과 비교해 성능가 어떻게 되는가?
• RQ5 이 프레임워크는 서포트 벡터 회귀 및 일변도 SVM과 같은 다른 커널 방법으로 확장 가능한가?

주요 결과

• 제안된 방법은 비정재성 커널을 사용한 비볼록 SVM 문제를 볼록 최적화 문제로 전환하여 전역 수렴성과 효율적인 해를 보장한다.
• 커널 학습 구성요소는 명시적으로 해결되어, 반복적 커널 학습 방법과 비교해 계산 오버헤드를 감소시킨다.
• 투사된 경사하강법과 ACCPM 알고리즘 모두 최적 해로 수렴하며, ACCPM은 선형적으로 더 높은 정밀도를 달성하지만, 투사된 경사하강법은 초기에 더 빠르게 수렴하지만 더 높은 정밀도에서 정체된다.
• USPS-SS-3-5 데이터셋에서 투사된 경사하강법은 총 실행 시간에서 SIQCLP를 능가하며, 더 높은 문제 크기에서 더 낮은 반복 비용 덕분에 ACCPM보다도 더 효율적이다.
• 투사된 경사하강법을 통해 계산된 이중성 갭은 신뢰할 수 있는 정지 기준을 제공하지만, SIQCLP는 상당히 더 높은 반복 복잡도를 지불함으로써 더 날카운 갭을 제공한다.
• 이 프레임워크는 비정재성 커널 SVM에서 사용되는 히우리스틱 방법에 대해 원리적인 해석을 제공하며, 이들이 불확실성 하에서 암묵적으로 보조 커널을 학습하고 있음을 보여준다.