[논문 리뷰] Computing Bayes: Bayesian Computation from 1763 to the 21st Century

Gael M. Martin, David T. Frazier외 1명|arXiv (Cornell University)|2020. 04. 14.

Gaussian Processes and Bayesian Inference참고 문헌 268인용 수 21

한 줄 요약

이 논문은 토머스 베이즈의 1763년 논문에서 21세기 현재의 방법에 이르기까지 베이지안 계산의 종합적인 역사적 및 기술적 리뷰를 제공한다. 모든 계산 기법—라플라스 근사 및 MCMC에서 변분 추론과 ABC에 이르기까지—을 후행 기대값 추정이라는 통합 프레임워크 안에서 다루며, 그들의 진화, 상호연결성, 그리고 확장성과 모형 오특정성 문제와 같은 현재의 과제들을 강조한다.

ABSTRACT

The Bayesian statistical paradigm uses the language of probability to express uncertainty about the phenomena that generate observed data. Probability distributions thus characterize Bayesian analysis, with the rules of probability used to transform prior probability distributions for all unknowns - parameters, latent variables, models - into posterior distributions, subsequent to the observation of data. Conducting Bayesian analysis requires the evaluation of integrals in which these probability distributions appear. Bayesian computation is all about evaluating such integrals in the typical case where no analytical solution exists. This paper takes the reader on a chronological tour of Bayesian computation over the past two and a half centuries. Beginning with the one-dimensional integral first confronted by Bayes in 1763, through to recent problems in which the unknowns number in the millions, we place all computational problems into a common framework, and describe all computational methods using a common notation. The aim is to help new researchers in particular - and more generally those interested in adopting a Bayesian approach to empirical work - make sense of the plethora of computational techniques that are now on offer; understand when and why different methods are useful; and see the links that do exist, between them all.

연구 동기 및 목표

• 베이즈의 원래 1763년 문제에서 현대의 고차원 추론에 이르기까지 베이지안 계산의 연대기적이고 개념적인 개요를 제공하기 위해.
• 결정론적, 시뮬레이션 기반, 근사 기법을 포함한 다양한 계산 기법들을 후행 기대값 평가라는 공통 수학적 프레임워크 아래 통합하기 위해.
• 신규 연구자들이 현대 베이지안 계산 도구의 강점, 한계, 적절한 사용 사례를 이해하는 데 도움을 주기 위해.
• 확장성과 모형 오특정성과 같은 새로운 과제를 부각하고,未래 개발을 위한 핵심 연구 방향을 식별하기 위해.

제안 방법

• 베이지안 추론을 후행 기대값 평가 E(g(θ)|y) = ∫Θ g(θ)p(θ|y)dθ로 공식화하며, 여기서 p(θ|y) ∝ p(y|θ)p(θ)는 정규화 상수를 제외하고만 알려져 있다.
• 계산 기법을 세 가지 유형으로 분류한다: 결정론적 적분, 시뮬레이션 기반 방법(예: MCMC, 중요도 샘플링), 근사 기법(예: 라플라스 근사, 변분 추론, ABC).
• 모든 기법 간의 구조적 유사성을 강조하고 비교를 용이하게 하기 위해 기법 간 일관된 표기법을 사용한다. 특히 전통적 기법과 현대 기법 간의 유사성을 중시한다.
• 모형 비교를 위한 핵심 양상인 주변우도 p(y|M) = ∫Θ p(y|θ,M)p(θ|M)dθ의 역할을 분석하며, 이는 사전 분포 하에서 후행 기대값을 통해 계산된다.
• 대규모 데이터셋과 고차원 모형을 대상으로 한 확장성 있는 계산 기법의 최근 발전을 검토하고, 모형 오특정성의 계산적 영향을 논의한다.
• 표준 우도 기반 추론을 넘어서는 확장도 검토한다. 예를 들어 손실 함수를 사용한 일반화된 후행분포(예: 부트스트랩 기반 후행분포, 일반화된 변분 추론)와 모멘트 기반 다양체 위에서의 MCMC 등.

실험 결과

연구 질문

• RQ1 베이지안 추론을 위한 계산 기법은 1763년 베이즈의 원래 문제에서 현대의 고차원 문제에 이르기까지 어떻게 진화해 왔는가?
• RQ2 다양한 베이지안 계산 기법들을 뒷받침하는 통합 원리는 무엇이며, 이를 체계적으로 비교할 수 있는가?
• RQ3 현대 데이터 크기와 차원에 맞게 베이지안 방법을 확장하는 데 있어 계산적 과제와 해결책은 무엇인가?
• RQ4 모형 오특정성과 우도 기반 외의 추론이 베이지안 계산 알고리즘의 설계와 성능에 미치는 영향는 어떠한가?
• RQ5 우도 대신 손실 함수를 사용하는 것이 베이지안 업데이트에 미치는 영향는 무엇이며, 이는 계산 효율성과 타당성에 어떻게 영향을 주는가?

주요 결과

• 베이지안 계산의 核심 과제는 여전히 다루기 어려운 적분, 특히 후행 기대값의 평가에 있다. 이는 추론, 예측, 의사결정 이론, 모형 선택의 핵심에 위치한다.
• 간단한 경우(예: 공액 사전)에서는 해석적 해가 가능하지만, 대부분의 실제 문제에서는 정규화 상수가 다루기 어려워 수치 근사가 필요하다.
• 현대의 계산 기법들—MCMC, 변분 추론, ABC—모두 동일한 핵심 양상인 E(g(θ)|y)를 근사하기 위해 설계되었으며, 정확도, 속도, 확장성 간의 상충 관계를 가진다.
• 확장성은 이제 주요 연구 초점이 되었으며, Bayes Comp 2020에서 129개의 회의 초록 중 16개가 직접적으로 확장성 문제를 다루었고, 많은 초록이 대규모 데이터셋이나 고차원 모형을 대상으로 하고 있다.
• 모형 오특정성이 계산 기법에 상당한 영향을 미친다: 오특정성이 있을 경우 ABC는 유효한 신뢰집합을 도출하지 못할 수 있으며, VB는 여전히 KL 최소화 파라미터에 집중할 수 있다.
• 손실 함수를 사용한 비우도 기반 추론을 다루기 위한 새로운 계산 패러다임—예를 들어 일반화된 변분 추론과 모멘트 기반 다양체 위에서의 MCMC—가 나타나고 있으며, 이는 강건한 베이지안 분석을 위한 계산 설계에 근본적인 전환을 알린다.