[논문 리뷰] PAC-Bayesian Theory Meets Bayesian Inference

Pascal Germain, Francis Bach외 2명|arXiv (Cornell University)|2016. 05. 27.

Gaussian Processes and Bayesian Inference참고 문헌 34인용 수 14

한 줄 요약

이 논문은 i.i.d. 데이터 하에서 PAC-Bayesian 위험 경계와 베이지안 주변 가능도 간의 직접적인 이론적 연결을 수립하며, 음의 로그가중도 손실에 대해 PAC-Bayesian 경계를 최소화하는 것이 주변 가능도를 최대화하는 것과 동치임을 보여준다. 또한, 비유계 서브감마 손실으로의 PAC-Bayesian 정리 확장을 통해 베이지안 선형 회귀에서 일반화 보장을 향상시킨 결과를 검증한다.

ABSTRACT

We exhibit a strong link between frequentist PAC-Bayesian risk bounds and the Bayesian marginal likelihood. That is, for the negative log-likelihood loss function, we show that the minimization of PAC-Bayesian generalization risk bounds maximizes the Bayesian marginal likelihood. This provides an alternative explanation to the Bayesian Occam's razor criteria, under the assumption that the data is generated by an i.i.d distribution. Moreover, as the negative log-likelihood is an unbounded loss function, we motivate and propose a PAC-Bayesian theorem tailored for the sub-gamma loss family, and we show that our approach is sound on classical Bayesian linear regression tasks.

연구 동기 및 목표

• i.i.d. 데이터 가정 하에서 PAC-Bayesian 일반화 경계와 베이지안 주변 가능도 간의 공식적인 연결을 수립하기 위해.
• 서브감마 손실 프레임워크를 도입하여 음의 로그가중도 손실과 같은 비유계 손실 함수를 다룰 수 있도록 PAC-Bayesian 이론을 확장하기 위해.
• 베이지안 옥커의 면도 원칙을 PAC-Bayesian 경계에 내재된 복잡도-정확도 트레이드오프의 자연스러운 결과로 재해석하기 위해.
• 기존의 베이지안 선형 회귀 작업에 제안된 프레임워크를 적용하여 그 실증적 타당성을 입증하기 위해.

제안 방법

• 음의 로그가중도 손실 함수에 대해 PAC-Bayesian 위험 경계를 최소화하는 것과 베이지안 주변 가능도를 최대화하는 것 간의 이론적 동치성을 유도한다.
• 모멘트 생성 함수를 사용하여 적절한 집중 경계를 도출함으로써, PAC-Bayesian 정리를 서브감마 분포 손실에 적응시킨다.
• 경계 유도 과정에서 사전과 사후 분포 간의 쿨백-라이블러 발산을 정규화 요소로 사용하여 베이지안 모델 증거와 연결한다.
• 가우스 사전과 가우스 가능도를 가진 베이지안 선형 회귀에 확장된 PAC-Bayesian 프레임워크를 적용하여, 기대 손실과 KL 발산에 대한 명시적 표현을 계산한다.
• 비유계 음의 로그가중도 손실 하에서 경계가 유지되도록 하기 위해 서브감마 조건을 만족하는 계수 c와 s를 유도한다.
• 표준 베이지안 선형 회귀 작업에서 방법을 실증적으로 평가하여, PAC-Bayesian 경계를 최소화하는 것이 주변 가능도를 최대화하는 것과 일치함을 보였다.

실험 결과

연구 질문

• RQ1 음의 로그가중도 손실에 대해 PAC-Bayesian 위험 경계를 베이지안 주변 가능도와 직접적으로 연결할 수 있는가?
• RQ2 음의 로그가중도와 같은 비유계 손실 함수를 다룰 수 있도록 PAC-Bayesian 이론을 어떻게 확장할 수 있는가?
• RQ3 PAC-Bayesian 경계를 최소화하는 것이 주변 가능도로 측정된 최적의 베이지안 모델 선택을 이끌어내는가?
• RQ4 베이지안 선형 회귀 설정에서 음의 로그가중도 손실에 대한 적절한 서브감마 파rameter(c, s)는 무엇인가?

주요 결과

• i.i.d. 데이터 하에서 음의 로그가중도 손실에 대해 PAC-Bayesian 위험 경계를 최소화하는 것은 수학적으로 베이지안 주변 가능도를 최대화하는 것과 동치이다.
• 베이지안 옥커의 면도 원칙은 PAC-Bayesian 경계에 내재된 복잡도-정확도 트레이드오프의 자연스러운 결과로 재해석된다.
• 비유계 설정에서 PAC-Bayesian 경계를 사용할 수 있도록 하기 위해, 베이지안 선형 회귀에서 음의 로그가중도 손실에 대한 명시적 서브감마 계수 c와 s를 도출하였다.
• 사후 분포 하에서의 기대 손실은 경험적 위험과 설계 행렬 및 사후 공분산을 포함하는 추적 기반 정규화 항의 합으로 표현된다.
• 사후와 사전 분포 간의 KL 발산은 사후 평균, 공분산 및 사전 분산의 함수로 명시적으로 계산되었으며, 베이지안 추론과의 일관성을 확인하였다.
• 베이지안 선형 회귀에서의 실증 결과는 제안된 PAC-Bayesian 프레임워크가 타당하고 일관된 일반화 경계를 생성함을 보여주었으며, 이는 이론적 타당성을 검증한다.