[논문 리뷰] Bootstrapped synthetic likelihood

Richard G. Everitt|arXiv (Cornell University)|2017. 11. 15.

Markov Chains and Monte Carlo Methods참고 문헌 10인용 수 8

한 줄 요약

이 논문은 부트스트래핑을 활용한 합성우도(BLB-SL)를 소개한다. 이는 부트스트랩의 한 종류인 '작은 부트스트랩의 자루(BLB)'를 사용하여 합성우도 추정치의 분산을 줄여, 더 적은 시뮬레이션 수로 정확한 베이지안 추론을 가능하게 한다. BLB-SL은 서브샘플링과 회귀 기반 평균 추정을 통해 대규모 데이터셋에서도 신뢰할 수 있는 사후분포 근사치를 도출할 수 있음을 보여주며, 기존의 표준 합성우도(SL)에 비해 효율성이 크게 향상됨을 확인한다.

ABSTRACT

Approximate Bayesian computation (ABC) and synthetic likelihood (SL) techniques have enabled the use of Bayesian inference for models that may be simulated, but for which the likelihood cannot be evaluated pointwise at values of an unknown parameter $θ$. The main idea in ABC and SL is to, for different values of $θ$ (usually chosen using a Monte Carlo algorithm), build estimates of the likelihood based on simulations from the model conditional on $θ$. The quality of these estimates determines the efficiency of an ABC/SL algorithm. In standard ABC/SL, the only means to improve an estimated likelihood at $θ$ is to simulate more times from the model conditional on $θ$, which is infeasible in cases where the simulator is computationally expensive. In this paper we describe how to use bootstrapping as a means for improving SL estimates whilst using fewer simulations from the model, and also investigate its use in ABC. Further, we investigate the use of the bag of little bootstraps as a means for applying this approach to large datasets, yielding Monte Carlo algorithms that accurately approximate posterior distributions whilst only simulating subsamples of the full data. Examples of the approach applied to i.i.d., temporal and spatial data are given.

연구 동기 및 목표

• 합성우도(SL)의 효율성을 향상시키기 위해 시뮬레이션 비용을 증가시키지 않고도 우도 추정치의 분산을 줄이는 것.
• 작은 부트스트랩(BLB)을 사용해 서브샘플로부터 분산을 추정함으로써 SL을 대규모 데이터셋에 확장하여 계산 부담을 줄이는 것.
• 부트스트랩된 분산 추정치와 회귀를 조합했을 때, 전체 데이터 시뮬레이션이 비현실적인 경우에도 정확한 사후분포 근사치를 도출할 수 있는지 조사하는 것.
• 표준 SL과 ABC와의 비교를 통해 BLB-SL의 성능을 평가하는 것, 특히 사후정확도와 몬테카를로 효율성 측면에서

제안 방법

• 전체 데이터셋 크기 $ N $ 에서 크기 $ n $ 의 다수의 서브샘플을 작은 부트스트랩(BLB)을 통해 생성하여 확장 가능한 분산 추정을 가능하게 한다.
• 서브샘플에서 요약통계의 공분산행렬 $ \widehat{\Sigma}_{\theta} $ 를 부트스트랩을 적용하여 추정함으로써 전체 데이터 시뮬레이션에 비해 계산 비용을 감소시킨다.
• 다양한 BLB 추정치의 평균 $ \widehat{\mu}_{\theta} $ 를 조합하기 위해 국소선형회귀를 사용하여 평균 추정치의 분산과 편향을 줄인다.
• 향상된 SL 추정치를 순차몬테카를로(SMC) 또는 MCMC 알고리즘에 통합하여 사후분포 근사치를 도출한다.
• 블록-BLB에서 블록 크기를 조정하여 시간적 또는 공간적 데이터의 의존성을 고려하여 일관된 분산 추정을 보장한다.
• 독립적(identically distributed), 시간적, 공간적 모델에서 요약통계를 사용한 합성우도를 통해 방법을 검증하며, 이sov모형을 포함한다.

실험 결과

연구 질문

• RQ1 부트스트랩은 추가 시뮬레이션 비용을 최소화하면서도 합성우도 추정치의 분산을 줄일 수 있는가?
• RQ2 작은 부트스트랩(BLB)은 서브샘플링을 통해 대규모 데이터셋에서 정확한 합성우도 추정을 가능하게 하는가?
• RQ3 BLB 평균 추정치에 대한 회귀 기반 보정이, 원시 BLB 추정치가 노이즈가 많을 경우에도 사후정확도를 크게 향상시킬 수 있는가?
• RQ4 BLB-SL은 몬테카를로 효율성과 사후정확도 측면에서 표준 SL 및 ABC에 비해 어떻게 비교되는가?
• RQ5 대규모 데이터 환경에서 BLB-SL이 낮은 편향과 높은 유효표본크기(ESS)를 유지하는 조건은 무엇인가?

주요 결과

• BLB-SL은 $ C = 100 $ 이고 $ n = 10,000 $ 일 때 교환 알고리즘으로부터 얻은 진짜 사후분포와 매우 유사한 사후분포 근사치를 도출하며, 편향과 분산이 매우 작다.
• $ C = 200 $ 이고 $ n = 2,500 $ (즉, $ N/n = 400 $) 일 때도 정확한 사후분포를 도출할 수 있어 고서브샘플링 비율에 대한 강건성을 입증한다.
• SMC 샘플러의 유효표본크기(ESS)는 BLB 평균 추정치의 분산이 높아질수록 감소함을 확인하여, 분산 감소가 효율성에 매우 중요함을 입증한다.
• 회귀 기반 평균 추정은 원시 BLB 추정치가 노이즈가 많더라도 충분히 분산을 줄여 정확한 사후분포 근사치를 도출할 수 있음을 보여준다.
• 이sov모형 예제에서 BLB-SL은 낮은 편향과 높은 정확도를 유지하며, $ C $ 가 충분히 클 경우 사후표준편차도 잘 근사한다.
• BLB-SL은 표준 ABC/SL이 전체 데이터 시뮬레이션 비용으로 인해 계산적으로 비현실적인 대규모 데이터 환경에서도 확장 가능한 베이지안 추론을 가능하게 한다.