[논문 리뷰] On $\ell_p$-Support Vector Machines and Multidimensional Kernels

Víctor Blanco, Justo Puerto외 1명|arXiv (Cornell University)|2017. 11. 28.

Tensor decomposition and applications참고 문헌 20인용 수 3

한 줄 요약

이 논문은 $p > 1$인 $β$-노름으로 서포트 벡터 머신을 확장하여, 2차원 원뿔 프로그래밍과 다항식 최적화로 근본 문제와 이중 문제를 설정한다. 다항식과 실수 텐서를 기반으로 한 다차원 커널을 도입하여 커널 트릭을 일반화하고, 순간-소프로그래밍(SOCP) 및 샤우더 공간 근사법을 통한 효율적인 분류를 가능하게 하며, 실험 결과 $β$-SVM에 비해 경쟁적 또는 우수한 정확도를 보이며, 특히 $\ell_{4/3}$-노름에서 뛰어난 성능을 나타낸다.

ABSTRACT

In this paper, we extend the methodology developed for Support Vector Machines (SVM) using $\ell_2$-norm ($\ell_2$-SVM) to the more general case of $\ell_p$-norms with $p\ge 1$ ($\ell_p$-SVM). The resulting primal and dual problems are formulated as mathematical programming problems; namely, in the primal case, as a second order cone optimization problem and in the dual case, as a polynomial optimization problem involving homogeneous polynomials. Scalability of the primal problem is obtained via general transformations based on the expansion of functionals in Schauder spaces. The concept of Kernel function, widely applied in $\ell_2$-SVM, is extended to the more general case by defining a new operator called multidimensional Kernel. This object gives rise to reformulations of dual problems, in a transformed space of the original data, which are solved by a moment-sdp based approach. The results of some computational experiments on real-world datasets are presented showing rather good behavior in terms of standard indicators such a extit{accuracy index} and its ability to classify new data.

연구 동기 및 목표

• 표준 $β$-SVM을 일반화하여 $p > 1$인 $β$-노름 서포트 벡터 머신($β$-SVM)을 위한 통합 이론적 프레임워크를 개발하는 것.
• $β$-SVM의 핵심 요소인 커널 트릭을 유클리드 노름을 초월하여 다차원 커널 함수의 일반화로 확장하는 것.
• 2차원 원뿔 프rog래밍과 다항식 최적화를 이용한 확장 가능한 근본 및 이중 문제 설정을 제공하는 것.
• 명시적인 데이터 매핑 없이 순간-SOCP 및 샤우더 공간 기반 기능 근사법을 통해 효율적인 해법을 가능하게 하는 것.
• 실세계 데이터셋에서 다양한 노름과 커널 유형에 대해 $β$-SVM의 성능을 경험적으로 평가하는 것.

제안 방법

• 근본 문제를 2차원 원뿔 프로그래밍(SOCP)으로 설정하여, 원뿔 최적화를 통한 확장 가능한 해법을 가능하게 한다.
• 이중 문제를 동차 다항식을 포함하는 다항식 최적화 문제로 재구성하여, 순간-SOCP 기법의 적용을 가능하게 한다.
• 적절한 차수와 차원을 가진 대칭 실수 텐서를 통해 정의되는 다차원 커널의 개념을 도입한다.
• 대칭 실수 텐서가 유효한 다차원 커널 함수를 유도하기 위한 충분한 조건을 설정한다.
• 순간-SOCP 접근법을 활용하여 최적 해에 수렴하는 일련의 준선형계획문제를 통해 이중 문제를 해결한다.
• 제한된 슈바르츠 공간 전개를 적용하여 명시적인 데이터 매핑 없이 기능 변환을 효과적으로 근사하고, $β$-SVM 환경에서 커널 트릭의 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 계산의 실현 가능성을 유지하면서 $β$-SVM 프레임워크를 $p > 1$인 임의의 $β$-노름으로 일반화할 수 있는가?
• RQ2 $β$-노름의 경우를 초월하여 $β$-SVM의 커널 트릭에 적절한 일반화는 무엇인가?
• RQ3 동차 다항식과 실수 텐서를 기반으로 한 다차원 커널 함수는 $β$-SVM에서 비선형 분류를 효과적으로 가능하게 하는가?
• RQ4 $\ell_{4/3}$, $\ell_2$ 등 다양한 $β$-노름 간의 분류 정확도와 희박성 측면에서의 성능 비교는 어떻게 이루어지는가?
• RQ5 명시적인 데이터 변환 없이 샤우더 공간에서의 기능 근사법을 통해 커널 트릭이 $β$-SVM에서 얼마나 잘 유지될 수 있는가?

주요 결과

• $\ell_{4/3}$-노름은 여러 데이터셋에서 일관되게 최고 또는 근접한 최고의 테스트 정확도를 달성했으며, 일부 경우에서 표준 $\ell_2$-SVM을 능가했다.
• cleveland 및 독일 신용 데이터셋에서 $\widetilde{\Phi}[\eta]$ 하에서 비선형 변환($\eta = 4$ 및 $\eta = 3$)이 선형 변환보다 더 높은 테스트 정확도를 보였으며, 비선형성의 이점이 확인되었다.
• $\ell_2$-SVM은 직접적인 이차형식 덕분에 가장 빠르게 해가 구해졌지만, 다른 노름들, 특히 $\ell_{4/3}$는 더 뛰어난 희박성(비영인 $\omega$-계수의 수가 적음)을 보였다.
• 과적합 현상이 관찰되었다: 완벽한 훈련 정확도($100\%$)가 더 좋은 테스트 성능을 보장하지는 않았으며, 특히 고차수 변환에서 두드러졌다.
• 다차원 커널 프레임워크는 순간-SOCP를 통한 수렴 보장과 함께 $\ell_p$-SVM 환경에서 커널 기반 분류를 성공적으로 가능하게 하였다.
• 샤우더 공간 기반 접근법은 명시적인 데이터 매핑 없이 효과적인 기능 변환 근사를 가능하게 하였으며, 커널 트릭의 효율성을 유지하였다.