[논문 리뷰] Margins, Kernels and Non-linear Smoothed Perceptrons

Aaditya Ramdas, Javier Peña|arXiv (Cornell University)|2015. 05. 15.

Stochastic Gradient Optimization Techniques참고 문헌 12인용 수 5

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS)에서 비선형 분류를 위한 가속화된 부드럽게 처리된 커널 퍼셉트론 알고리즘을 소개한다. 원 문제의 수렴 속도는 $\frac{\sqrt{\log n}}{\rho_K}$이며, 원-이중 알고리즘의 수렴 속도는 $\min\left\{\frac{\sqrt{n}}{\epsilon}, \frac{\sqrt{n}}{|\rho_K|}\right\}$이다. 여기서 $\rho_K$는 정규화된 마진이다. 이 방법은 커널화된 마할라노비스 노름과 부드러운 하향도 방법을 사용하여 퍼셉트론과 폰 뉴먼 알고리즘을 일반화한다.

ABSTRACT

We focus on the problem of finding a non-linear classification function that lies in a Reproducing Kernel Hilbert Space (RKHS) both from the primal point of view (finding a perfect separator when one exists) and the dual point of view (giving a certificate of non-existence), with special focus on generalizations of two classical schemes - the Perceptron (primal) and Von-Neumann (dual) algorithms. We cast our problem as one of maximizing the regularized normalized hard-margin ($ρ$) in an RKHS and %use the Representer Theorem to rephrase it in terms of a Mahalanobis dot-product/semi-norm associated with the kernel's (normalized and signed) Gram matrix. We derive an accelerated smoothed algorithm with a convergence rate of $ frac{\sqrt {\log n}}ρ$ given $n$ separable points, which is strikingly similar to the classical kernelized Perceptron algorithm whose rate is $ frac1{ρ^2}$. When no such classifier exists, we prove a version of Gordan's separation theorem for RKHSs, and give a reinterpretation of negative margins. This allows us to give guarantees for a primal-dual algorithm that halts in $\min\{ frac{\sqrt n}{|ρ|}, frac{\sqrt n}ε\}$ iterations with a perfect separator in the RKHS if the primal is feasible or a dual $ε$-certificate of near-infeasibility.

연구 동기 및 목표

• 재생 커널 힐버트 공간(RKHS)에서 고전적 퍼셉트론과 폰 뉴먼 알고리즘을 일반화하는 비선형 분류 프레임워크를 개발하는 것.
• RKHS에서 완벽한 분리자(분리 가능한 경우)를 찾는 원 문제와, 그러한 분리자가 존재하지 않을 경우의 불가능성 증명을 위한 이중 문제를 다루는 것.
• 기존의 커널 퍼셉트론 수렴 속도보다 개선된 $\rho_K^{-2}$ 가 아닌 $\rho_K$ 의존성에 기반한 수렴 보장을 도출하는 것.
• 기존의 부드러운 퍼셉트론과 프랭크-월레프 유형 방법을 RKHS 환경으로 일반화하고 개선된 수렴 속도를 확보하는 것.
• 원-이중 알고리즘을 설계하여, 마진에 따라 의존하는 수렴 속도로 완벽한 분리자 또는 $\epsilon$-근접 불가능성 증거를 동시에 제공하는 것.

제안 방법

• 비선형 분류 문제를 재생 커널 힐버트 공간(RKHS)에서 정규화된 하드 마진 $\rho_K$ 를 최대화하는 문제로 재정의하며, 커널의 그램 행렬에 의해 정의된 마할라노비스 반노름을 사용한다.
• 이중 공간에서 $\ell_2$-정규화를 통해 하드 마진 손실 함수의 부드러운 근사값을 사용하는 부드러운 정규화된 커널 퍼셉트론(SNKP) 알고리즘을 제안한다.
• 수렴을 가속화하기 위해 스무딩 파라미터 $\delta_t$ 를 동적으로 조정하는 반복 스무딩 기법(ISNKPVN)을 도입하며, $\delta_t = \|q_0\|_G / \gamma^{t+1}$ 로 정의된다.
• 이중 문제의 가용성은 원 문제의 불가능성과 정확히 반대이므로, RKHS에서 고르단의 정리를 기반으로 한 이중 증거를 사용하여 불가능성 탐지가 가능하다.
• 커널 그램 행렬 $G$ 의 구조를 활용하여 이중 공간에서 하향도 방법과 선형 탐색 전략을 결합하여 수렴을 보장한다.
• 이중 반복값 $q_t$, 원 반복값 $p_t$, 마진 $\rho_K$ 간의 관계를 이용해 수렴 경계를 유도하며, $\|q_t\|_G \leq \|q_0\|_G / \gamma^{t+1}$ 임을 보여준다.

실험 결과

연구 질문

• RQ1 고전적 퍼셉트론과 폰 뉴먼 알고리즘이 정규화된 마진 $\rho_K$ 에 따라 수렴 속도가 향상되는 비선형 분류 문제에 대해 RKHS에서 일반화될 수 있는가?
• RQ2 정규화된 마진 $\rho_K$ 에 대해 부드러운 커널 퍼셉트론 알고리즘의 최적 수렴 속도는 무엇인가?
• RQ3 마진 의존 수렴 속도를 갖는 원-이중 알고리즘을 설계하여, 동시에 불가능성 증명과 분리자 발견이 가능한가?
• RQ4 커널화된 마할라노비스 노름과 부드러운 하향도 방법을 사용할 경우, 기존의 커널 퍼셉트론에 비해 수렴 속도에 어떤 영향을 미치는가?
• RQ5 원-이중 설정에서 $n$ 과 $1/\epsilon$ 에 대해 다항로그 의존성을 확보하면서도 $1/\rho_K$ 의존성을 유지할 수 있는가?

주요 결과

• 부드러운 정규화된 커널 퍼셉트론(SNKP)은 기존의 커널 퍼셉트론의 $\frac{1}{\rho_K^2}$ 수렴 속도보다 훨씬 빠른 $\frac{\sqrt{\log n}}{\rho_K}$ 의 수렴 속도를 달성한다.
• 완벽한 분리자가 RKHS에 존재할 경우, 반복적 SNKP-폰 뉴먼(ISNKPVN) 알고리즘은 $O\left(\frac{\sqrt{n}}{\rho_K}\log\left(\frac{1}{\rho_K}\right)\right)$ 반복 내에 종료된다.
• 완벽한 분리자가 존재하지 않을 경우, 알고리즘은 $O\left(\min\left\{\frac{\sqrt{n}}{\epsilon}, \frac{\sqrt{n}}{|\rho_K|}\right\} \log\left(\frac{1}{\epsilon}\right)\right)$ 반복 내에 $\epsilon$-해를 찾으며, 근접 불가능성에 대한 이중 증거를 제공한다.
• 논문은 RKHS에서 고르단의 정리의 한 형태를 증명하여, 이중 문제가 가용할 조건이 원 문제가 불가능할 조건과 정확히 반대임을 보였다. 이는 강력한 불가능성 탐지 기반을 제공한다.
• 수렴 경계는 입력 차원 $d$ 와 무관하며, 오직 $n$, $\rho_K$, $\epsilon$ 에만 의존하므로 고차원 특징 공간에 대한 확장성이 뛰어나다.
• 저자들은 추가로 $\sqrt{\log n}$ 의 $n$ 의존성을 향상시킬 수 있는 다른 스무딩 함수를 사용할 경우 가능성이 있음을 추측하지만, 닫힌 형태의 해는 여전히 도전 과제로 남아 있다.