[논문 리뷰] Near-Tight Margin-Based Generalization Bounds for Support Vector Machines

Allan Grønlund, Lior Kamma외 1명|arXiv (Cornell University)|2020. 06. 03.

Face and Expression Recognition참고 문헌 17인용 수 7

한 줄 요약

이 논문은 기존의 경계 기반 일반화 경계를 개선한 SVM에 대한 거의 날카로운 일반화 경계를 제안한다. 기존의 경계 기반 경계를 개선하여, 거의 일치하는 하한 경계와 함께, SVM의 이론적 일반화 성능이 경계에 의해 거의 완전히 결정됨을 보여준다.

ABSTRACT

Support Vector Machines (SVMs) are among the most fundamental tools for binary classification. In its simplest formulation, an SVM produces a hyperplane separating two classes of data using the largest possible margin to the data. The focus on maximizing the margin has been well motivated through numerous generalization bounds. In this paper, we revisit and improve the classic generalization bounds in terms of margins. Furthermore, we complement our new generalization bound by a nearly matching lower bound, thus almost settling the generalization performance of SVMs in terms of margins.

연구 동기 및 목표

• SVM의 고전적 경계 기반 일반화 경계를 개선하기 위해, 경계, 반지름, 표본 수에 대한 상한 경계를 더욱 날카롭게 하기.
• 새로운 상한 경계에 거의 일치하는 하한 경계를 추가하여, SVM의 이론적 일반화 성능이 경계 기반으로 거의 확정됨을 보장하기.
• 기존의 경계 기반 경계가 날카로운지 여부라는 오랫동안 남아있던 질문을, 상한 및 거의 일치하는 하한 경계를 증명함으로써 해결하기.
• 경계 크기와 데이터 분포의 역할에 중점을 두어, 하드 및 소프트 경계 형식의 SVM에서 일반화 오차를 분석하기.

제안 방법

• Bartlett와 Shawe-Taylor의 이전 경계를 개선하여, SVM의 일반화 오차에 대한 새로운 상한 경계를 경계 θ, 데이터 반지름 R, 표본 수 m를 사용해 유도한다.
• 대칭화와 Rademacher 복잡도를 기반으로 한 새로운 분석 기법을 도입하여 기대 경계 오차를 제한한다.
• 상한 경계가 渐近적으로 날카로운지 보여주기 위해, 신중하게 구성된 데이터 분포와 레이블링 체계를 사용해 거의 일치하는 하한 경계를 구성한다.
• 확률적 추론과 농도 부등식(예: Markov의 부등식과 Jensen의 부등식)을 사용하여 랜덤 샘플링 및 레이블링에 대한 기대 오차를 제한한다.
• 하드 및 소프트 경계 SVM을 모두 분석하여, 경계 θ = 1/||w||₂와 경계 크기 및 잘못 분류에 대한 페널티 간의 상호 균형을 중점적으로 다룬다.
• Anthony와 Bartlett(2009)의 결과를 응용하여, 랜덤 샘플링 하에서 잘못 분류될 확률을 기반으로 기대 오차에 대한 하한 경계를 도출한다.

실험 결과

연구 질문

• RQ1 SVM의 고전적 경계 기반 일반화 경계는 경계에 대해 가능한 최적 경계에 더 가까워질 수 있는가?
• RQ2 경계가 일반화 오차를 결정하는 데 주요한 요소인가? 이는 날카로운 상한 및 하한 경계로 공식화될 수 있는가?
• RQ3 경계, 반지름, 표본 수에 대해 SVM의 가장 날카로운 일반화 경계는 무엇인가?
• RQ4 새로운 상한 경계가 渐近적으로 최적임을 보여주기 위해, 거의 일치하는 하한 경계를 구성할 수 있는가?
• RQ5 최악의 데이터 분포에서 일반화 오차는 경계 크기, 데이터 반지름, 표본 수에 따라 어떻게 척도가 되는가?

주요 결과

• 논문은 O((R/θ)² log²m + log(1/δ))/m 형태의 새로운 상한 경계를 도출하여, Bartlett와 Shawe-Taylor의 고전적 경계를 개선함을 보였다.
• 기존 상한 경계가 대략적인 로그 요소 이외에는 渐近적으로 날카로운지 확인하기 위해, 거의 일치하는 하한 경계를 구성하였다.
• 최악의 경우 일반화 오차는 Θ((R/θ)² / m)로 척도가 되며, 이는 경계가 일반화 성능에서 주요한 요소임을 확인한다.
• 오차가 상한 경계와 상수 요소 이내로 일치하는 분포와 레이블링 체계를 구성함으로써, 경계가 거의 최적임을 입증하였다.
• 결과적으로, 경계 최대화가 일반화를 위한 이론적 근거를 지닌다는 것을 확인하였으며, R, θ, m에 대한 최적의 의존성에 거의 도달함을 보였다.
• 하한 경계 구성은 k개의 점에 대한 대칭 분포와 제어된 잘못 분류 확률을 가진 레이블링 체계를 사용하였으며, 최악의 경우 더 나은 경계를 얻을 수 없음을 보였다.