[논문 리뷰] Approximate Bayesian Computation via Regression Density Estimation

Yanan Fan, David J. Nott외 1명|arXiv (Cornell University)|2012. 12. 06.

Markov Chains and Monte Carlo Methods인용 수 4

한 줄 요약

이 논문은 고차원 설정에서 효율적이고 안정적인 비모수적 추론을 가능하게 하는 새로운 근사 베이지안 계산(ABC) 방법을 제안한다. 이 방법은 회귀 밀도 추정을 통해 우도 함수를 직접 근사하며, 사전 시뮬레이션 없이도 정확한 우도 근사를 달성한다. 유연한 전문가 혼합 모델을 통해 요약 통계량을 변환함으로써, 베이지안 및 허수 추론을 모두 지원하며, 계산 오버헤드를 최소화한다.

ABSTRACT

Approximate Bayesian computation (ABC) methods, which are applicable when the likelihood is difficult or impossible to calculate, are an active topic of current research. Most current ABC algorithms directly approximate the posterior distribution, but an alternative, less common strategy is to approximate the likelihood function. This has several advantages. First, in some problems, it is easier to approximate the likelihood than to approximate the posterior. Second, an approximation to the likelihood allows reference analyses to be constructed based solely on the likelihood. Third, it is straightforward to perform sensitivity analyses for several different choices of prior once an approximation to the likelihood is constructed, which needs to be done only once. The contribution of the present paper is to consider regression density estimation techniques to approximate the likelihood in the ABC setting. Our likelihood approximations build on recently developed marginal adaptation density estimators by extending them for conditional density estimation. Our approach facilitates reference Bayesian inference, as well as frequentist inference. The method is demonstrated via a challenging problem of inference for stereological extremes, where we perform both frequentist and Bayesian inference.

연구 동기 및 목표

• 기본적인 ABC 방법의 직접 후행 분포 근사 방식을 대체할, 우도 중심의 새로운 접근법을 개발한다.
• 다양한 사전 분포에 걸쳐 민감도 분 析를 위한 효율적이고 재사용 가능한 우도 근사를 가능하게 한다.
• 고차원 요약 통계량 공간에서의 수치적 안정성과 정확도를 향상시킨다.
• 단일한 분석 가능 우도 추정치를 통해 동시에 베이지안 및 허수 추론을 지원한다.

제안 방법

• 관측된 요약 통계량과 매개변수를 변환 공간으로 매핑하기 위해 민감한 전문가 혼합 모델을 사용하여 조건부 밀도 추정이 더 안정해지도록 한다.
• 경계 적응 밀도 추정기법을 조건부 밀도 추정으로 확장하여, 우도 함수 $ L({\bf S}|{\boldsymbol\theta}) $ 의 비모수적 근사를 가능하게 한다.
• 우도는 사전 분포에서 샘플링이 필요 없이 시뮬레이션된 데이터 쌍 $ ({\bf S}^{(i)}, {\boldsymbol\theta}^{(i)}) $ 에서 추정된다.
• 회귀 밀도 추정을 적용하여 $ f({\bf S}|{\boldsymbol\theta}) $ 를 모델링함으로써 우도에 대한 명시적 해석 표현을 도출한다.
• 추정된 우도를 사용하여 최대우도추정치와 후행 분포를 직접 계산할 수 있다.
• 표준 다변수 정규 혼합 모델이 실패하는 것과는 달리, 이 방법은 고차원 설정(예: 115차원)에서도 수치적으로 안정적인 것으로 나타났다.

실험 결과

연구 질문

• RQ1 우도 중심의 ABC 접근법이 직접 후행 분포 근사를 사용하는 기존 ABC 방법보다 계산적 안정성과 재사용성 측면에서 뛰어나게 되는가?
• RQ2 회귀 밀도 추정은 고차원 요약 통계량 공간에서 복잡하고 추정이 어려운 우도를 얼마나 잘 근사할 수 있는가?
• RQ3 추정된 우도가 최대우도추정 등 신뢰할 수 있는 허수 추론을 얼마나 잘 지원하는가?
• RQ4 우도가 추정된 후에 재시뮬레이션 없이도 사전 민감도 분석을 효율적으로 수행할 수 있는가?
• RQ5 전문가 혼합 모델을 통한 변환은 직접 다변수 밀도 추정보다 수치적 안정성 측면에서 뚜렷한 향상을 이끌어내는가?

주요 결과

• 회귀 밀도 추정 방법은 표준 다변수 정규 혼합 모델이 실패하는 115차원 요약 통계량 공간에서도 수치적으로 안정된 우도 근사를 도출하였다.
• 추정된 우도를 기반으로 한 최대우도추정치는 비정보 사전 분포 하에서 베이지안 후행 분포 추정치와 일치하였다.
• $ \xi \sim N(0, a^2) $ 에서 $ a $ 의 다양한 값에 대한 사전 민감도 분석 결과, 희박한 사전 분포($ a=100 $)에서는 영향이 미미하였고, 강한 사전 분포($ a=0.1 $)에서는 뚜렷한 차이가 관찰되었다.
• 추정된 우도를 통해 추가적인 ABC 시뮬레이션 없이도 직접적인 허수 추론(예: MLE)이 가능했다.
• 후행 분포의 정밀도 측면에서 표준 ABC 방법보다 뛰어났으며, Bortot 등(2007)의 ABC 방법($ \delta = 3.3 $)보다 신뢰구간이 더 좁았다.
• 탄력적인 전문가 혼합 변환을 사용함으로써, 원시 $ ({\bf S}, {\boldsymbol\theta}) $ 쌍에 직접 밀도 추정을 수행하는 것보다 안정성과 정확도가 크게 향상되었다.