[논문 리뷰] Bayesian inference using synthetic likelihood: asymptotics and adjustments

David T. Frazier, David J. Nott외 2명|arXiv (Cornell University)|2019. 02. 13.

Markov Chains and Monte Carlo Methods인용 수 5

한 줄 요약

이 논문은 요약 통계량에 대한 중심극한정리 하에 합성우도의 후행분포의 渐近 정규성을 확립하며, 베이지안 합성우도(BSL)가 올바른 빈도적 커버리지를 가지는 유효한 불확실성 측정을 제공함을 보여준다. 또한 BSL이 표준 ABC보다 계산적으로 더 효율적임을 입증하고, 대각 또는 인자 모델과 같은 잘못된 공분산 구조를 수정하기 위해 샌드위치 유형의 분산 조정을 제안하여 계산 속도를 향상시키면서도 추론 정확도를 유지한다.

ABSTRACT

Implementing Bayesian inference is often computationally challenging in applications involving complex models, and sometimes calculating the likelihood itself is difficult. Synthetic likelihood is one approach for carrying out inference when the likelihood is intractable, but it is straightforward to simulate from the model. The method constructs an approximate likelihood by taking a vector summary statistic as being multivariate normal, with the unknown mean and covariance matrix estimated by simulation for any given parameter value. Our article makes three contributions. The first shows that if the summary statistic satisfies a central limit theorem, then the synthetic likelihood posterior is asymptotically normal and yields credible sets with the correct level of frequentist coverage. This result is similar to that obtained by approximate Bayesian computation. The second contribution compares the computational efficiency of Bayesian synthetic likelihood and approximate Bayesian computation using the acceptance probability for rejection and importance sampling algorithms with a "good" proposal distribution. We show that Bayesian synthetic likelihood is computationally more efficient than approximate Bayesian computation, and behaves similarly to regression-adjusted approximate Bayesian computation. Based on the asymptotic results, the third contribution proposes using adjusted inference methods when a possibly misspecified form is assumed for the covariance matrix of the synthetic likelihood, such as diagonal or a factor model, to speed up the computation. The methodology is illustrated with some simulated and real examples.

연구 동기 및 목표

• 요약 통계량이 중심극한정리를 만족할 때, 베이지안 합성우도(BSL)의 渐近 빈도적 성질을 확립하기 위해.
• 거부 및 중요도 샘플링 알고리즘을 사용하여 BSL과 근사베이지안계산(ABC)의 계산 효율성을 비교하기 위해.
• 요약 통계량의 공분산 행렬이 잘못 지정된 경우(예: 대각 또는 인자 모델)에 BSL에 대한 분산 조정 방법을 개발하고 정당화하기 위해.
• 특히 가정된 공분산 구조가 잘못되었을 때 모형 오지정 하에서 BSL의 유효한 불확실성 측정을 확보하기 위해.
• 특히 시뮬레이션 비용이 높은 상황에서 조정된 추론의 실용적 유용성을 실제 및 시뮬레이션 예제를 통해 보여주기 위해.

제안 방법

• 요약 통계량의 공분산 행렬의 거동에 대한 균일한 제어 조건을 포함한 정규 조건 하에서 BSL의 후행분포의 渐近 정규성을 확립한다.
• 각 매개변수 값에 대해 요약 통계량의 평균과 공분산을 시뮬레이션하여 합성우도 추정량의 渐近 분포를 도출한다.
• 거부 샘플링 알고리즘에서 BSL과 ABC 간의 수용 확률을 비교하여, 좋은 제안 분포 하에서 BSL은 수용 확률이 점점 줄어들지 않음을 보여준다.
• asymptotic 이론을 사용하여 강건성을 정당화하면서, 대각 또는 인자 모델과 같은 잘못된 공분산 행렬 가정에 대한 보정을 위해 샌드위치 유형의 분산 조정을 제안한다.
• 시뮬레이션 및 실제 데이터에 모두 조정된 방법을 적용하였으며, 48차원의 요약 통계량을 가진 도마뱀 산란 연구를 포함한다.
• 합성우도를 사용한 MCMC를 적용하여 표준 BSL, 감소된 시뮬레이션 수를 가진 수축 BSL(Shrinkage BSL), 조정된 BSL을 비교하여 후행 정확도와 효율성을 평가한다.

실험 결과

연구 질문

• RQ1 요약 통계량이 중심극한정리를 만족할 경우, 합성우도의 후행분포가 정규분포로 수렴하여 신뢰구간의 빈도적 커버리지가 올바른가?
• RQ2 거부 및 중요도 샘플링 프레임워크에서 BSL과 ABC의 계산 효율성은 어떻게 비교되는가?
• RQ3 요약 통계량의 가정된 공분산 구조가 잘못되었을 경우, BSL에 대한 분산 조정을 유도할 수 있는가?
• RQ4 진정한 공분산이 정확히 모델링되지 않았을 때 이러한 조정이 정확한 불확실성 측정을 유지하는 데 얼마나 효과적인가?
• RQ5 예를 들어 대각 또는 인자 모델과 같은 단순화된 공분산 구조를 사용할 경우, BSL의 계산 비용과 추론 정확도에 어떤 영향을 미치는가?

주요 결과

• 요약 통계량이 중심극한정리를 만족할 경우, 합성우도의 후행분포는 渐近 정규성을 가지며, 이로 인해 올바른 빈도적 커버리지를 가진 신뢰구간을 제공한다.
• 좋은 제안 분포 하에서 BSL의 거부 샘플링 수용 확률은 점점 줄어들지 않지만, ABC는 점점 수용 확률이 0에 수렴함을 보여, BSL은 수용률이 유지됨을 확인한다.
• BSL은 표준 ABC보다 계산적으로 더 효율적이며, 수용 확률과 샘플링 효율성 측면에서 회귀조정 ABC와 유사한 성능을 보인다.
• 수축 파라미터(γ=0.1)를 사용하여 도마뱀 예제에서 MCMC 반복당 시뮬레이션 수를 500에서 50으로 줄여 계산 속도를 향상시켰다.
• 조정된 BSL 후행분포는 조정되지 않은 수축 BSL 후행분포보다 표준 BSL의 불확실성 구조를 더 잘 복원하지만, 더 큰 분산으로 인해 약간의 효율성 손실이 있다.
• 실제 데이터에서는 조정된 후행분포가 시뮬레이션 데이터보다 분산 증폭이 적고 표준 BSL과 더 가까운 일치를 보였으며, 실용적 상황에서 더 강건한 성능을 보임을 시사한다.