[논문 리뷰] Learning under Model Misspecification: Applications to Variational and Ensemble methods

Andrés R. Masegosa|arXiv (Cornell University)|2019. 12. 18.

Gaussian Processes and Bayesian Inference참고 문헌 54인용 수 16

한 줄 요약

이 논문은 모형 부적합성 하에서 베이지안 모델 평균화가 최적의 일반화를 이끌지 못함을 드러내는 새로운 이阶 PAC-Bayes 프레임워크를 제안한다. 더 낫게 조정된 PAC-Bayes 경계를 최소화함으로써 저자들은 예측 성능이 크게 향상된 비베이지안 사후 분포를 생성하는 새로운 변분 및 앙상블 방법을 유도한다. 이는 베이지안 신경망과 실제 데이터셋에서 검증되었다.

ABSTRACT

Virtually any model we use in machine learning to make predictions does not perfectly represent reality. So, most of the learning happens under model misspecification. In this work, we present a novel analysis of the generalization performance of Bayesian model averaging under model misspecification and i.i.d. data using a new family of second-order PAC-Bayes bounds. This analysis shows, in simple and intuitive terms, that Bayesian model averaging provides suboptimal generalization performance when the model is misspecified. In consequence, we provide strong theoretical arguments showing that Bayesian methods are not optimal for learning predictive models, unless the model class is perfectly specified. Using novel second-order PAC-Bayes bounds, we derive a new family of Bayesian-like algorithms, which can be implemented as variational and ensemble methods. The output of these algorithms is a new posterior distribution, different from the Bayesian posterior, which induces a posterior predictive distribution with better generalization performance. Experiments with Bayesian neural networks illustrate these findings.

연구 동기 및 목표

• 모형 부적합성 하에서 베이지안 모델 평균화의 일반화 성능를 분석하는 것.
• 모형이 부적합할 때 예측 과제에서 베이지안 방법이 성능을 떨어뜨이는 이유를 규명하는 것.
• 더 낫게 조정된 PAC-Bayes 경계를 사용하여 더 나은 일반화 성능를 보이는 베이지안 유사 알고리즘의 새로운 가족을 개발하는 것.
• 제안된 방법의 확장 가능한 변분 및 앙상블 구현을 설계하는 것.
• 베이지안 신경망과 표준 벤치마크에서 개선된 예측 성능를 실증적으로 검증하는 것.

제안 방법

• 모형 부적합성 하에서 일阶 경계보다 더 낫게 조정된 이阶 PAC-Bayes 경계의 새로운 가족을 유도한다.
• 이러한 이阶 경계를 최소화하여 기존 표준 베이지안 사후 분포와 다른 새로운 사후 분포를 도출한다.
• 결과적으로 도출된 학습 알고리즘을 모형 부적합성에 대한 보정 항을 포함한 수정된 손실 함수를 갖는 일반화된 변분 추론 방법으로 공식화한다.
• 이 방법을 변분 추론 및 앙상블 학습 알고리즘으로 모두 구현하며, 예측 분포를 위해 몬테카를로 샘플링을 사용한다.
• 베이지안 원칙과의 일관성을 위해 경계에서 상수 $ c = 1 $ 을 사용하지만, 향후 개선을 위해 $ c $ 의 최적화도 가능하다고 지적한다.
• 이 방법을 베이지안 신경망에 적용하고, Fashion-MNIST 및 CIFAR-10과 같은 표준 데이터셋을 사용해 지도 및 자기지도 과제에서 평가한다.

실험 결과

연구 질문

• RQ1 왜 모형이 부적합할 경우 베이지안 모델 평균화가 일반화 성능이 좋지 않은가?
• RQ2 더 낫게 조정된 PAC-Bayes 경계는 모형 부적합성 하에서 베이지안 유사 학습에서 일반화 성능 향상에 기여하는가?
• RQ3 표준 베이지안 사후 분포와 제안된 사후 분포 사이의 구조적 차이는 무엇이며, 이는 예측 성능에 어떤 영향을 미치는가?
• RQ4 제안된 변분 및 앙상블 방법은 표준 베이지안 추론 및 MAP 대비 예측 로그우도 측면에서 어떻게 비교되는가?
• RQ5 제안된 방법은 베이지안 신경망과 같은 딥러닝 모델에 효과적으로 스케일링되고 적용될 수 있는가?

주요 결과

• 베이지안 사후 분포는 일阶 PAC-Bayes 경계를 최소화하며, 이 경계는 모형 부적합성 하에서 느슨해져 최적의 일반화 성능를 이끌지 못한다.
• 제안된 이阶 PAC-Bayes 경계는 더 낫게 조정되어 있으며, 이는 일반화 성능 향상으로 이어지는 새로운 사후 분포를 도출한다.
• Fashion-MNIST에서 PAC²ₜ-변분 방법은 자기지도 정상 과제에서 테스트 예측 로그우도 -3.9668e+09를 기록하여 베이지안 변분 방법을 능가했다.
• CIFAR-10에서 PAC²ₜ-앙상블 방법은 자기지도 정상 과제에서 테스트 로그우도 -4.8795e+09를 기록하여 베이지안 앙상블보다 유의미하게 뛰어났다.
• PAC²ₜ-변분 방법은 Fashion-MNIST의 지도 과제에서 테스트 로그우도 -3558.94를 기록하여 MAP 기준선인 -4237.11를 뛰어넘었다.
• 제안된 방법은 절편 파라미터의 분산을 더 높게 유도하여 데이터 노이즈를 더 잘 반영하는 더 강건한 예측 분포를 생성한다. 이는 그림 1에서 설명되어 있다.