[논문 리뷰] A PAC-Bayesian Tutorial with A Dropout Bound

David McAllester|arXiv (Cornell University)|2013. 07. 08.

Machine Learning and Algorithms참고 문헌 9인용 수 70

한 줄 요약

이 논문은 PAC-Bayesian 일반화 경계에 대한 종합적인 튜토리얼을 제시하며, 세 가지 핵심 경계를 소개한다: 유한 정밀도 규칙에 대한 Occam 경계, $L_2$ 정규화와 드롭아웃을 포함한 확률적 규칙 선택을 위한 PAC-Bayesian 경계, 그리고 백싱과 같은 분산 감소 기법을 시사하는 더 날카운 training-variance 경계. training-variance 경계는 다른 경계들을 압도하지만 해석하기 어려우며, 기존 경계들보다 드롭아웃에 대한 더 의미 있는 분석을 제공한다.

ABSTRACT

This tutorial gives a concise overview of existing PAC-Bayesian theory focusing on three generalization bounds. The first is an Occam bound which handles rules with finite precision parameters and which states that generalization loss is near training loss when the number of bits needed to write the rule is small compared to the sample size. The second is a PAC-Bayesian bound providing a generalization guarantee for posterior distributions rather than for individual rules. The PAC-Bayesian bound naturally handles infinite precision rule parameters, $L_2$ regularization, {\em provides a bound for dropout training}, and defines a natural notion of a single distinguished PAC-Bayesian posterior distribution. The third bound is a training-variance bound --- a kind of bias-variance analysis but with bias replaced by expected training loss. The training-variance bound dominates the other bounds but is more difficult to interpret. It seems to suggest variance reduction methods such as bagging and may ultimately provide a more meaningful analysis of dropouts.

연구 동기 및 목표

• 머신러닝 연구자들에게 PAC-Bayesian 이론에 대한 간결하고 접근하기 쉬운 개요를 제공하는 것.
• 무한 정밀도 파rameter를 가진 모델을 위한 일반화 경계의 이론적 기초를 구축하는 것, 특히 초순수 학습의 경우.
• 드롭아웃 학습의 성능을 PAC-Bayesian 시각에서 분석하는 것.
• training-variance 경계가 기존 경계들보다 더 날카우며 더 해석 가능한 대안이 될 잠재력을 탐구하는 것.
• 경계에 경험적 손실 분산을 통합하는 데서 비롯하는 제약를 명확히 하는 것.

제안 방법

• 유니온 바운드와 체르노프 부등식을 사용하여 Occam 경계를 유도하며, 일반화 오차를 사전 확률의 로그와 표본 크기와 연결한다.
• 사후 분포에서 추출된 확률적 규칙의 기대 손실을 제어하는 PAC-Bayesian 경계를 도입하며, 사후와 사전 간의 KL 발산을 포함한다.
• PAC-Bayesian 프레임워크를 $L_2$ 정규화와 드롭아웃 학습에 적용하여, 드롭아웃이 특정 사후 분포를 가진 베이지안 평균화의 한 형태로 해석될 수 있음을 보여준다.
• 편향을 기대 학습 손실로 대체하여 일반화 오차에 대한 더 날카운 상한을 제공하는 training-variance 경계를 제안한다.
• training-variance 경계를 PAC-Bayesian 사후와 조합하여 새로운 경계를 유도하지만, 분석은 여전히 느슨하고 해석하기 어려운 편이다.
• 경험적 손실 분산을 포함시켜 Occam 경계를 강화하지만, 갑작스러운 외곽치의 위험으로 인해 이러한 개선이 본질적으로 제한됨을 보여준다.

실험 결과

연구 질문

• RQ1 무한 정밀도 파rameter를 가진 모델, 예를 들어 $L_2$-정규화 학습에서의 모델에 대해 PAC-Bayesian 이론이 일반화 보장을 제공할 수 있는가?
• RQ2 PAC-Bayesian 프레임워크는 드롭아웃 학습을 베이지안 모델 평균화의 한 형태로 자연스럽게 수용할 수 있는가?
• RQ3 training-variance 경계가 다른 경계들보다 우세함에도 불구하고, 이 경계가 강력한 학습 알고리즘 설계를 어떻게 이끌 수 있는가?
• RQ4 경험적 손실 분산은 일반화 경계를 크게 향상시킬 수 있는가, 아니면 이러한 향상은 본질적으로 제약을 받는가?
• RQ5 왜 손실 분산을 경계에 통합해도, 분산이 0이 되더라도 실질적인 향상이 이루어지지 않는가?

주요 결과

• training-variance 경계는 Occam 경계와 PAC-Bayesian 경계보다 더 날카롭며, 일반화 오차의 더 정확한 특성화를 제공할 수 있음을 시사한다.
• training-variance 경계는 백싱이나 부스팅과 같은 분산 감소 기법이 일반화 성능 향상에 기여할 수 있음을 시사하며, 이러한 방법들에 대한 새로운 이론적 근거를 제공한다.
• 경험적 손실 분산이 0이 되더라도, 최고의 Occam 스타일 경계는 원래 Occam 경계의 2배 이내에 머무르며, 분산 통합의 이점이 제한됨을 보여준다.
• PAC-Bayesian 사후 분포는 일반화를 위해 단일 최적의 사후 분포를 정의하는 원칙적인 방법을 제공하지만, training-variance 경계에는 유사한 최적 알고리즘이 알려져 있지 않다.
• PAC-Bayesian 경계에서 사전을 데이터 기반 분포로 대체하면 경계가 빈약해지며, 이는 이러한 경계를 느슨함 없이 강화하는 데서 도전 과제임을 보여준다.
• 드롭아웃 학습을 위한 경계는 PAC-Bayesian 프레임워크를 통해 도출되었으며, 이는 드롭아웃이 특정 사후 분포를 가진 베이지안 평균화의 한 형태로 해석될 수 있음을 보여준다.