[논문 리뷰] Pac-Bayesian Supervised Classification: The Thermodynamics of Statistical Learning

Olivier Catoni|ArXiv.org|2007. 12. 03.

Machine Learning and Algorithms참고 문헌 21인용 수 204

한 줄 요약

이 논문은 강화된 상대 엔트로피와 볼록 해석을 활용하여 지도 학습 분류에 대한 PAC-베이지안 프레임워크를 개발한다. 이는 국소적이고 상대적인 경계를 유도함으로써 모델 복잡도를 적응적으로 제어한다. 일반화 오차를 정량화하기 위해 효과적 온도 개념을 도입하여, 마진과 매개변수 가정에 기반한 데이터 기반 적응이 가능하며 최적 수렴 속도를 달성한다.

ABSTRACT

This monograph deals with adaptive supervised classification, using tools borrowed from statistical mechanics and information theory, stemming from the PACBayesian approach pioneered by David McAllester and applied to a conception of statistical learning theory forged by Vladimir Vapnik. Using convex analysis on the set of posterior probability measures, we show how to get local measures of the complexity of the classification model involving the relative entropy of posterior distributions with respect to Gibbs posterior measures. We then discuss relative bounds, comparing the generalization error of two classification rules, showing how the margin assumption of Mammen and Tsybakov can be replaced with some empirical measure of the covariance structure of the classification model.We show how to associate to any posterior distribution an effective temperature relating it to the Gibbs prior distribution with the same level of expected error rate, and how to estimate this effective temperature from data, resulting in an estimator whose expected error rate converges according to the best possible power of the sample size adaptively under any margin and parametric complexity assumptions. We describe and study an alternative selection scheme based on relative bounds between estimators, and present a two step localization technique which can handle the selection of a parametric model from a family of those. We show how to extend systematically all the results obtained in the inductive setting to transductive learning, and use this to improve Vapnik's generalization bounds, extending them to the case when the sample is made of independent non-identically distributed pairs of patterns and labels. Finally we review briefly the construction of Support Vector Machines and show how to derive generalization bounds for them, measuring the complexity either through the number of support vectors or through the value of the transductive or inductive margin.

연구 동기 및 목표

• PAC-베이지안 도구를 사용하여 지도 학습 분류를 위한 통계적 학습 이론 프레임워크를 개발한다.
• 상대 엔트로피와 경험 측도를 통해 모델 복잡도에 적응하는 국소적이고 상대적인 경계를 도입한다.
• 후행 분포와 깁스 사전 분포 간의 관계를 연결하기 위해 효과적 온도를 정의하고 데이터 기반으로 추정한다.
• 마진과 매개변수 가정이 변화하는 상황에서도 최적 수렴 속도를 달성하는 적응적 학습을 가능하게 한다.
• 쉐이드 샘플을 사용하여 유도 학습에서 전이 학습으로의 확장을 체계적인 경계를 통해 수행한다.

제안 방법

• 깁스 사전 분포에 대한 상대 엔트로피를 기반으로 후행 확률 측도에 대한 볼록 해석을 적용하여 경계를 유도한다.
• 효과적 온도를 후행 분포의 일반화 성능을 깁스 사전 분포 대비 측정하는 척도로 도입한다.
• 두 단계 국소화를 통해 중간 후행 분포를 통한 경계 정밀화를 통해 가족 내 매개변수 모델을 선택한다.
• 지수 매개변수 최적화와 농도 불등식을 활용하여 비편향 경험 경계와 분산 경계를 도출한다.
• 상대 경계를 두 후행 분포 간 비교에 적용하여 마진 가정을 분류 모델의 경험 공분산 구조 측도로 대체한다.
• 쉐이드 샘플과 가우시안 근사법을 활용하여 분산 항을 개선함으로써 결과를 전이 학습으로 확장한다.

실험 결과

연구 질문

• RQ1 PAC-베이지안 경계는 어떻게 국소화되어 분류에서 일반화 오차 제어를 향상시킬 수 있는가?
• RQ2 효과적 온도는 후행 분포와 깁스 사전 분포 간의 관계를 어떻게 설명하며, 이를 데이터로부터 어떻게 추정할 수 있는가?
• RQ3 후행 분포 간 상대 경계는 일반화 오차 분석에서 마진 가정을 대체할 수 있는가?
• RQ4 두 단계 국소화는 매개변수 가족 내 모델 선택을 어떻게 향상시킬 수 있는가?
• RQ5 적응적 마진과 매개변수 가정 하에서 일반화 오차의 최적 수렴 속도는 무엇인가?

주요 결과

• 후행 분포의 효과적 온도는 데이터로부터 추정 가능하며, 이는 어떤 마진과 매개변수 복잡도 가정 조건에서도 일반화 오차 제어를 적응적으로 가능하게 한다.
• 논문은 일반적인 마진과 매개변수 가정 하에서 기대 오차율의 최고 수준의 수렴 속도를 적응적으로 달성한다.
• 후행 분포 간 상대 경계는 마멘-츠야바코프 마진 가정을 분류 모델의 경험 공분산 구조 측도로 대체할 수 있다.
• 두 단계 국소화를 통해 중간 후행 분포를 통한 경계 정밀화를 통해 매개변수 가족 내 모델 선택이 향상되며, 적응성이 향상된다.
• 쉐이드 샘플을 사용하여 전이 학습 경계를 체계적으로 확장하였으며, 가우시안 근사를 통해 분산 항 추정이 향상되었다.
• 이 프레임워크는 체계적인 경계 유도와 핵심 매개변수의 경험적 추정을 통해 유도 및 전이 학습 환경에서 모두 최적 수렴 속도를 달성한다.