[논문 리뷰] Learning Kernel-Based Halfspaces with the Zero-One Loss

Shai Shalev‐Shwartz, Ohad Shamir외 1명|arXiv (Cornell University)|2010. 05. 20.

Machine Learning and Algorithms참고 문헌 18인용 수 4

한 줄 요약

이 논문은 비볼록 0-1 손실을 사용하여 커널 기반 하프스페이스를 무지식하게 학습하는 데 있어 유한 샘플 및 유한 시간 보장을 제공하는 새로운 알고리즘을 제안한다. 이 알고리즘은 poly(exp(L log(L/ε))) 시간 내에 실행되며, 최적의 하프스페이스와 ε 이내의 분류기 결과를 반환한다. 이와 동시에, 암호학적 가정 하에 다항 시간 알고리즘이 존재하지 않음을 보여주는 동치의 경직성 결과도 제시한다.

ABSTRACT

We describe and analyze a new algorithm for agnostically learning kernel-based halfspaces with respect to the \emph{zero-one} loss function. Unlike most previous formulations which rely on surrogate convex loss functions (e.g. hinge-loss in SVM and log-loss in logistic regression), we provide finite time/sample guarantees with respect to the more natural zero-one loss function. The proposed algorithm can learn kernel-based halfspaces in worst-case time $\poly(\exp(L\log(L/ε)))$, for $\emph{any}$ distribution, where $L$ is a Lipschitz constant (which can be thought of as the reciprocal of the margin), and the learned classifier is worse than the optimal halfspace by at most $ε$. We also prove a hardness result, showing that under a certain cryptographic assumption, no algorithm can learn kernel-based halfspaces in time polynomial in $L$.

연구 동기 및 목표

• 0-1 손실 함수를 사용할 때 커널 기반 하프스페이스를 학습하는 데 있어 유한 샘플 및 유한 시간 보장이 부족한 문제를 해결한다.
• 허위 손실 함수(예: 허프, 로그 손실)와 같은 볼록 대체 손실이 아닌 더 자연스러운 0-1 손실에 대해 낮은 일반화 오차를 달성하는 비정상 학습 알고리즘을 개발한다.
• 입력 차원이 아닌 전이 함수의 리프시츠 상수 L에 의존하는 이론적 런타임 및 샘플 복잡도 경계를 제공한다.
• 암호학적 가정 하에, 동일한 보장을 달성할 수 있는 다항 시간 알고리즘이 존재하지 않음을 보여주는 계산적 경직성 결과를 수립한다.

제안 방법

• 재생 커널 힐버트 공간(RKHS)에서 특수하게 구성된 커널 함수에 대해 절대 손실을 사용한 선형 회귀 기반 학습 알고리즘을 제안한다.
• 비연속적인 0-1 함수를 근사하기 위해 리프시츠 연속 함수의 가족(예: 시그모이드, 오차함수, 조각별 선형 함수)을 사용한다.
• 가설 클래스를 h(x) = φ(⟨w, x⟩) 형태의 분류기로 정의하며, 여기서 φ는 0-1 단계 함수를 근사하는 L-리프시츠 함수이다.
• 전이 함수의 다항 근사의 계수를 제한하는 데 사용되는 매개변수 B를 도입하여 런타임 제어를 가능하게 한다.
• 전이 함수의 유한 개의 다항 근사에 대해 경험적 리스크 최소화를 적용하여 런타임이 유한함을 보장한다.
• 최적의 하프스페이스가 학습 예제들의 유한 계수 조합으로 표현될 수 있음을 활용하여, 계수에 제약을 두고서도 탐색 가능한 조합을 탐색한다.

실험 결과

연구 질문

• RQ1 0-1 손실 함수 하에서 커널 기반 하프스페이스 학습에 대해 유한 샘플 및 유한 시간 학습 보장을 달성할 수 있는가?
• RQ2 볼록 대체 손실 함수에 의존하지 않고 0-1 손실에 대해 잘 작동하는 알고리즘을 설계할 수 있는가?
• RQ3 0-1 손실 하에서 커널 기반 하프스페이스 학습의 계산 복잡도는 무엇이며, 리프시츠 상수 L에 대한 지수적 의존도를 초월해 개선할 수 있는가?
• RQ4 언제 어떤 조건에서 커널 기반 하프스페이스를 0-1 손실 기반으로 학습하는 것이 계산적으로 어렵게 되는가?
• RQ5 한 번의 알고리즘으로 제한된 계수 가족 P_B 내의 모든 전이 함수에 대해 동시에 경쟁력 있는 성능을 달성할 수 있는가?

주요 결과

• 제안된 알고리즘은 유한한 수의 샘플을 사용하여 확률 1−δ 이상으로 최적의 하프스페이스와 ε 이내의 오차율을 달성한다.
• 알고리즘은 poly(exp(L log(L/ε))) 시간 내에 실행되며, 여기서 L은 전이 함수의 리프시츠 상수이다. 이는 유한 시간 보장을 제공한다.
• 계산적 경직성 결과에 따르면, 특정 암호학적 가정 하에, L에 대해 다항 시간 내에 커널 기반 하프스페이스를 학습하는 알고리즘은 존재하지 않는다.
• 알고리즘의 런타임은 매개변수 B에 의존하며, 최악의 경우 B는 poly(exp(Õ(1/μ)))이지만, 교차 검증 덕분에 실질적으로 훨씬 작아질 수 있다.
• 알고리즘은 제한된 계수 가족 P_B 내의 모든 전이 함수에 대해 동시에 경쟁력 있는 성능을 보이며, 실제로 최적의 전이 함수를 암묵적으로 학습한다.
• 기존의 전수 검색 접근 방식(시간 복잡도가 poly(exp(Õ(1/μ²)))이었던 것과 비교해, 지수의 차수를 1/μ²에서 1/μ로 감소시킴으로써 더 나은 런타임 복잡도를 달성한다.