[논문 리뷰] Stable Sample Compression Schemes: New Applications and an Optimal SVM Margin Bound

Steve Hanneke, Aryeh Kontorovich|arXiv (Cornell University)|2020. 11. 09.

Machine Learning and Algorithms참고 문헌 39인용 수 5

한 줄 요약

이 논문은 안정적인 샘플 압축 체계를 사용하여 지지 벡터 기계(SVMs)의 새로운 일반화 경계를 제안하며, 히프딩 부등식 대신 버니스테인 부등식을 활용하여 더 날카운 리스크 추정을 도출한다. 주요 기여는 압축 체계의 구조적 특성과 순열 불변 샘플링을 활용하여 SVM에 대한 최적의 마진 경계를 도출함으로써 일반화 오차 분석을 향상시키는 것이다.

ABSTRACT

We analyze a family of supervised learning algorithms based on sample compression schemes that are stable, in the sense that removing points from the training set which were not selected for the compression set does not alter the resulting classifier. We use this technique to derive a variety of novel or improved data-dependent generalization bounds for several learning algorithms. In particular, we prove a new margin bound for SVM, removing a log factor. The new bound is provably optimal. This resolves a long-standing open question about the PAC margin bounds achievable by SVM.

연구 동기 및 목표

• 안정적인 샘플 압축 체계 분석에서 히프딩 부등식 대신 버니스테인 부등식을 사용하여 SVM의 더 날카운 일반화 경계를 개발하는 것.
• 이진 분류에서 안정적인 압축 체계와 최적의 마진 경계 간의 관계를 수립하는 것.
• 순열 기반 샘플링과 조건부 확률 추론을 통합하여 학습 이론에서 리스크 추정을 향상시키는 것.
• 압축 기반 추정기들을 사용하여 진짜 리스크와 경험 리스크의 차이에 대한 고확률 경계를 도출하는 것.

제안 방법

• 압축 집합을 선택하고 그로부터 가설을 재구성하는 데 사용되는 안정적인 압축 체계 (κ, ρ)를 사용한다.
• 압축된 부분집합을 조건으로 하는 조건부 분포 하에서 버니스테인 부등식을 적용하여 경험 리스크와 진짜 리스크 간의 편차를 통제한다.
• 랜덤 순열 σ를 사용하여 샘플을 재색인하고 분석에서 무작위로 선택한 후에 다시 샘플링하지 않는 균일한 샘플링을 보장한다.
• 모든 가능한 인덱스 집합 I ∈ ℐₙ에 대한 유니온 바운드를 사용하여 모든 압축 구성에 걸쳐 고확률 보장을 유지한다.
• 압축 집합의 크기와 경험 리스크에 대한 의존성을 명시적으로 포함한 일반화 오차에 대한 경계를 유도한다. 이 경계는 Tₙ 및 |ℐₙ| 에 대한 의존성을 포함한다.
• 전체 확률의 법칙과 학습 세트 및 테스트 세트 간의 조건부 독립성을 활용하여 리스크 추정을 분리한다.

실험 결과

연구 질문

• RQ1 안정적인 샘플 압축의 맥락에서 버니스테인 부등식이 히프딩 부등식보다 더 날카운 일반화 경계를 도출할 수 있는가?
• RQ2 안정적인 압축 체계의 구조는 SVM의 마진 기반 일반화 오차에 어떻게 영향을 미치는가?
• RQ3 일반화 오차가 압축 부분집합의 크기와 가능한 압축 집합의 수에 대해 최적의 의존성은 무엇인가?
• RQ4 순열 불변 샘플링은 학습 이론에서 고확률 리스크 추정을 향상시킬 수 있는가?

주요 결과

• 논문은 진짜 리스크와 압축된 가설의 경험 리스크 간의 차이에 대해 확률 1−δ/2 이상의 고확률 경계를 확립한다.
• 경계는 O(√(n/Tₙ) · R̂_S(ρ(κ(S))) · ln(4|ℐₙ|/δ)/Tₙ + ln(4|ℐₙ|/δ)/Tₙ) 형태로 표현되며, 압축 크기와 구성 수에 대한 명시적 의존성을 보여준다.
• 히프딩 부등식 대신 버니스테인 부등식을 사용함으로써 경험 리스크가 작을 경우 더 날카운 리스크 편차 추정이 가능해진다.
• 모든 인덱스 집합 I ∈ ℐₙ에 대해 균일하게 성립하므로, 다양한 압축 선택에 대한 강건성을 확보한다.
• 이 결과는 약한 설정에서 안정적인 압축 체계에 대해 알려진 하한값과 일치하므로 최적성의 의미에서 최적이다.