[논문 리뷰] A Parsimonious Tour of Bayesian Model Uncertainty

Pierre‐Alexandre Mattei|arXiv (Cornell University)|2019. 02. 14.

Gaussian Processes and Bayesian Inference참고 문헌 147인용 수 7

한 줄 요약

이 논문은 베이지안 모형 불확실성에 대한 통합적이고 현대적인 개요를 제시하며, 점점 더 중요한 비점근적 외부 샘플 성능과 페널라이제이션 최대우도 방법과의 연결성을 강조한다. 고차원, 특이적, 최대우도가 불가능한 모형을 위한 계산적 진전을 검토하며, 복잡한 데이터 환경에서 모형 선택과 평균화에 대해 원칙적이고 실용적인 접근을 주장한다.

ABSTRACT

Modern statistical software and machine learning libraries are enabling semi-automated statistical inference. Within this context, it appears easier and easier to try and fit many models to the data at hand, reversing thereby the Fisherian way of conducting science by collecting data after the scientific hypothesis (and hence the model) has been determined. The renewed goal of the statistician becomes to help the practitioner choose within such large and heterogeneous families of models, a task known as model selection. The Bayesian paradigm offers a systematized way of assessing this problem. This approach, launched by Harold Jeffreys in his 1935 book Theory of Probability, has witnessed a remarkable evolution in the last decades, that has brought about several new theoretical and methodological advances. Some of these recent developments are the focus of this survey, which tries to present a unifying perspective on work carried out by different communities. In particular, we focus on non-asymptotic out-of-sample performance of Bayesian model selection and averaging techniques, and draw connections with penalized maximum likelihood. We also describe recent extensions to wider classes of probabilistic frameworks including high-dimensional, unidentifiable, or likelihood-free models.

연구 동기 및 목표

• 다양한 통계 공동체와 현대 데이터 과제에 걸쳐 베이지안 모형 불확실성에 대한 통합적 시각을 제공하기 위해.
• 데이터가 가설 수립 이전에 수집되는 환경에서 체계적인 모형 비교 및 선택의 증가하는 필요성을 해결하기 위해.
• 베이지안 모형 선택의 이론적 진전을 복잡한 모형을 위한 실용적 계산 방법과 연결하기 위해.
• 특히 유한 표본 영역에서, 베이지안 모형 평균화와 페널라이제이션 최대우도 접근법 간의 연결 고리를 부각하기 위해.
• 최근 고차원, 식별 불가능, 최대우도가 불가능한 모형으로의 확장을 논의하여 현대 머신러닝과 통계에서의 적용 가능성을 넓히기 위해.

제안 방법

• 모형과 그 매개변수에 대한 불확실성을 공동 사전분포 설정을 통해 베이즈 정리로 일관되게 다룬다.
• 외부 샘플 예측 성능 평가를 위해 마진형 최대우도 계산과 모형 평균화를 적용한다.
• 복잡한 모형에서 사후분포 근사를 위해 마르코프 체인 몬테카를로(MCMC)와 변분 추론을 활용한다.
• 고차원 환경에서 확장 가능한 베이지안 모형 선택을 가능하게 하기 위해 연속적 리프레젠테이션(예: ARD 유사)을 도입한다.
• 계산적으로 효율적인 모형 비교를 위해 마진형 최대우도의 비점근적 근사로 Evidence Lower Bound(ELBO)를 활용한다.
• 점근적 근사(예: 라플라스 근사)와 그 한계를 검토하며, 정확도 평가를 위해 상한 및 하한 증거 경계를 갖는 ELBO 기반 경계를 선호한다.

실험 결과

연구 질문

• RQ1 현대 데이터 과학에서 다양한 모형의 큰 이질적 집합을 체계적으로 비교하고 선택하기 위해 베이지안 모형 불확실성을 어떻게 적용할 수 있는가?
• RQ2 유한 표본 영역에서 베이지안 모형 평균화 및 선택의 이론적·실용적 이점은 빈도주의 페널라이제이션 최대우도 방법에 비해 무엇인가?
• RQ3 MCMC, 변분 추론, ELBO 기반 근사와 같은 계산 방법은 고차원, 특이적, 또는 최대우도가 불가능한 모형에 어떻게 적응될 수 있는가?
• RQ4 연속적 리프레젠테이션(예: ARD)은 하위군 내 정확한 베이지안 모형 선택을 유지하면서 확장성을 어떻게 향상시키는가?
• RQ5 왜곡된 모형에서의 과신을 피하기 위해 베이지안 모형 불확실성을 모형 비판과 어떻게 조합할 수 있는가?

주요 결과

• 베이지안 모형 불확실성은 데이터가 가설 수립 이전에 수집되는 환경에서 모형 비교 및 선택을 위한 원칙적인 프레임워크를 제공한다.
• ELBO는 유한 표본 시나리오에서 라플라스 유사 근사보다 뛰어난 안정성과 신뢰성을 보이는 마진형 최대우도의 신뢰할 수 있는 비점근적 근사이다.
• ARD 및 하위군 최적화와 같은 연속적 리프레젠테이션은 유의미한 모형 집합에 대한 정확한 추론을 유지하면서도 확장 가능한 베이지안 모형 선택을 가능하게 한다.
• 베이지안 모형 평균화와 페널라이제이션 최대우도 방법 간의 연결 고리는 공식화되었으며, 베이지안 접근이 비슷하거나 더 낫게 유한 표본 성능을 낼 수 있음을 보여준다.
• 최근의 진전은 고차원, 식별 불가능, 최대우도가 불가능한 모형으로의 베이지안 모형 불확실성 적용을 확장하여 현대 통계학적 학습에서의 적용 가능성을 넓혔다.
• 그럼에도 불구하고 이 프레임워크는 기초적이고 기술적인 비판을 받고 있으며, 강건한 추론을 위해 모형 불확실성과 모형 비판을 조합할 필요성이 있음을 시사한다.