[논문 리뷰] PAC$^m$-Bayes: Narrowing the Empirical Risk Gap in the Misspecified Bayesian Regime

Warren R. Morningstar, Alexander A. Alemi외 1명|arXiv (Cornell University)|2020. 10. 19.

Statistical Methods and Inference인용 수 5

한 줄 요약

이 논문은 예측 위험 경계에서 평균과 로그의 순서를 바꿈으로써 잘못된 사전 분포를 가진 베이지안 모델에서 일반화 갭을 좁히는 새로운 다중 샘플 손실인 PAC$^m$-Bayes를 소개한다. 이 손실을 최적화함으로써 예측 불확실성 추정이 향상되며, 표준 베이지안 추론에 비해 베이지안 신경망에서 이종분산 잡음( heteroskedastic noise)을 더 잘 포착하는 데서 성능 향상이 입증되었다.

ABSTRACT

The Bayesian posterior minimizes the "inferential risk" which itself bounds the "predictive risk". This bound is tight when the likelihood and prior are well-specified. However since misspecification induces a gap, the Bayesian posterior predictive distribution may have poor generalization performance. This work develops a multi-sample loss (PAC$^m$) which can close the gap by spanning a trade-off between the two risks. The loss is computationally favorable and offers PAC generalization guarantees. Empirical study demonstrates improvement to the predictive distribution.

연구 동기 및 목표

• 모델가 잘못 설정된 경우 추론 위험과 예측 위험 사이의 격차를 해결하기 위해, 표준 베이지안 추론이 잘 일반화되지 않는 문제를 다룬다.
• 추론 정확도가 아닌 예측 성능을 직접 최적화하기 위한 계산적으로 효율적인 손실 함수를 개발한다.
• 제안된 다중 샘플 예측 위험 경계에 대한 PAC 일반화 보장을 제공한다.
• 실제 베이지안 신경망 작업에서 후행 예측 분포의 향상 여부를 경험적으로 검증한다.

제안 방법

• 위험 표현에서 평균과 로그의 순서를 바꿈으로써 진정한 예측 위험에 대한 새로운 다중 샘플 경계인 PAC$^m$-Bayes를 제안한다.
• 표준 평균-로그-우도 손실이 아닌 로그-평균-우도 손실을 사용함으로써, 최적화의 초점을 추론 위험에서 예측 위험 최소화로 전환한다.
• 모델 오류 설정 하에서 기존의 추론 위험 경계보다 경계가 더 날카롭다는 것이 입증되었으며, 이는 더 나은 일반화를 가능하게 한다.
• 이론적 분석을 통해 표준 PAC-Bayes 가정 하에서 경계의 여유(슬랙)가 유한함을 증명하였으며, 일반화 보장을 보장한다.
• 경험적 평가에서는 구조화된 및 스토하스틱 가중치를 가진 베이지안 신경망을 사용하였으며, 다양한 샘플 수 $m$과 하이퍼파rameter $ackslash beta$로 학습하였다.
• 성능 평가에는 예측 분포 추정을 위해 100개의 몬테카를로 샘플을 사용한 음수 로그 후행 예측 확률(nlpp)과 정확도를 사용하였다.

실험 결과

연구 질문

• RQ1 평균과 로그의 순서를 바꾸는 다중 샘플 손실이 잘못된 설정된 베이지안 모델에서 일반화를 향상시키는가?
• RQ2 PAC$^m$-Bayes는 표준 베이지안 추론 및 최대우도법에 비해 예측 위험과 불확실성 추정에서 어떻게 성능을 내는가?
• RQ3 제안된 경계는 기존의 추론 위험 경계보다 더 날카로운 일반화 보장을 제공하는가?
• RQ4 샘플 수 $m$과 하이퍼파rameter $ackslash beta$는 베이지안 신경망의 예측 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 PAC$^m$-Bayes 손실은 베이지안 신경망에서 예측 불확실성 추정을 크게 향상시키며, 그림 1에서 표준 베이지안 추론이 실패하는 이종분산 잡음까지 잘 포착함을 보였다.
• PAC$^m$-Bayes로 학습된 모델은 표준 베이지안 추론보다 더 낮은 음수 로그 후행 예측 확률(nlpp)을 기록하여 더 나은 예측 밀도 추정을 의미한다.
• 특히 모델 오류 설정 하에서 기존의 추론 위험 경계보다 진정한 예측 위험에 대한 경계가 더 날카로워졌으며, 일반화 성능 향상이 가능하다.
• 경험적 결과로는 $m$ (학습 시 사용된 샘플 수)를 늘일수록 성능 향상이 관찰되었으며, 작업에 따라 $m=4$에서 $m=32$ 사이에서 최적 성능가 관찰되었다.
• 이 방법은 CIFAR-10, MNIST 등 여러 데이터셋과 구조화된 및 스토하스틱 가중치 변형을 포함한 다양한 모델 아키텍처에서 강력한 일반화 성능 유지를 보였다.
• 이론적 분석을 통해 표준 PAC-Bayes 가정 하에서 PAC$^m$-Bayes 경계의 여유가 유한함을 확인하였으며, 일반화 보장에의 활용 가능성을 뒷받침한다.