[논문 리뷰] Improved Vapnik Cervonenkis bounds

Olivier Catoni|arXiv (Cornell University)|2004. 10. 11.

Gaussian Processes and Bayesian Inference참고 문헌 11인용 수 4

한 줄 요약

이 논문은 대칭화를 제거하고 임의의 크기의 데이터에 의존하는 샤로우 샘플을 사용하는 새로운 PAC-Bayesian 프레임워크를 도입함으로써 통계학적 학습 이론에서 Vapnik-Cervonenkis (VC) 경계를 향상시킨다. 이로 인해 분산 항이 감소하고, 임의의 매개변수 ζ가 필요로 하는 것을 피할 수 있다. 주요 기여는 비동일한 분포를 가진 데이터에 대해서도 유효한 더 날카운 일반화 경계를 도출하는 것으로, 특히 큰 샤로우 샘플을 사용할 경우 상수 항이 향상된다. 수치적으로는 N=10⁶ 및 h=10일 때 경계 값이 0.2068 이하임을 입증하였다.

ABSTRACT

We give a new proof of VC bounds where we avoid the use of symmetrization and use a shadow sample of arbitrary size. We also improve on the variance term. This results in better constants, as shown on numerical examples. Moreover our bounds still hold for non identically distributed independent random variables. Keywords: Statistical learning theory, PAC-Bayesian theorems, VC dimension.

연구 동기 및 목표

• 대칭화를 피하고 임의의 크기의 샤로우 샘플을 사용함으로써 고전적 VC 경계를 향상시키는 것.
• 기존의 PAC-Bayesian 경계에서 분산 항을 줄여 임의의 매개변수 ζ가 필요로 하는 것을 제거하는 것.
• 비동일한 분포를 가진 독립적인 랜덤 변수로의 경계 확장을 위한 것.
• 큰 샤로우 샘플을 사용하여 훈련 오차를 기반으로 테스트 오차를 경계하는 더 나은 순환적 경계를 도출하는 것.
• 특히 큰 샤로우 샘플을 사용할 경우 더 날카운 일반화 오차 경계를 수치적으로 입증하는 것.

제안 방법

• 훈련 레이블만 관측 가능한, 크기가 kN인 순환적 설정을 도입한다.
• 가설 공간의 커버링 넷에 대한 데이터에 의존하는 사전 분포를 사용하는 PAC-Bayesian 부등식을 적용한다.
• 훈련 및 테스트 세트에서 가설 오차의 차이를 제어하기 위해 무작위로 교환 가능한 거리 ℓ를 적용한다.
• 함수 g(·)와 표준 정규분포의 누적분포함수 Φ(·)를 포함하는 분산 항을 이용해 r₂(θ)−r₁(θ)의 경계를 유도한다.
• 해상도 ξⱼ가 감소하는 커버링 넷의 수열에 대해 최적화하여 경계에서 log(N) 항을 제거한다.
• 로그 스케일의 커버링 넷에 대한 유니온 바운드를 적용하여 log(N) 대신 log log(N) 항을 갖는 경계를 달성한다.

실험 결과

연구 질문

• RQ1 대칭화를 데이터에 의존하는 샤로우 샘플로 대체함으로써 VC 경계를 향상시킬 수 있는가?
• RQ2 기존의 PAC-Bayesian 경계에서 분산 항을 ζ와 같은 임의의 매개변수 없이 줄일 수 있는가?
• RQ3 비동일한 분포를 가진 데이터로도 경계를 확장할 수 있으며, 이때 경계의 날카로움을 유지할 수 있는가?
• RQ4 큰 샤로우 샘플을 사용하면 순환적 학습에서 일반화 오차 경계가 상당히 향상되는가?
• RQ5 적응형 커버링 넷 최적화를 통해 경계에서 log(N) 의존성을 log log(N) 으로 대체할 수 있는가?

주요 결과

• 제안된 경계는 분산 항을 감소시키고 ζ 매개변수의 필요성을 제거함으로써 고전적 VC 경계를 향상시킨다.
• N=10⁶, h=10, r₁(θ)=0.2, ε=0.005일 때, 최적의 k=257 및 j=7 조건에서 경계 값은 0.20672 이하이다.
• k가 42에서 19,470 사이일 동안 경계 값이 0.2068 이하로 유지되어 큰 샤로우 샘플에 대해 강건함을 입증한다.
• 경계에서 log log(N) 의존성이 log(N) 대신 사용되어 점점 더 날카운 점근적 타당성을 확보한다.
• 비동일한 분포를 가진 독립적인 랜덤 변수에 대해서도 경계가 유효하여 i.i.d. 가정을 초월한 적용 범위를 넓힌다.
• 수치 결과는 특히 경험 오차가 작고 가설의 복잡도가 높을 경우 기존 경계보다 일관되게 향상됨을 보여준다.