[논문 리뷰] Optimal proposals for Approximate Bayesian Computation

Justin Alsing, B. D. Wandelt외 1명|arXiv (Cornell University)|2018. 08. 18.

Markov Chains and Monte Carlo Methods참고 문헌 1인용 수 8

한 줄 요약

이 논문은 Sequential Monte Carlo (SMC) 및 Population Monte Carlo (PMC) Approximate Bayesian Computation (ABC)의 최적 제안 밀도를 효과적인 표본 수를 단위 제안 당 최대화함으로써 유도한다. 최적 제안 밀도는 높은 수용률과 중요도 가중치의 낮은 분산을 균형 잡으며, 특히 고차원 매개변수 공간에서 표본 추출 효율성을 크게 향상시킨다. 이는 암묵적 해법과 두 가지 실용적 근사치를 통해 달성된다.

ABSTRACT

We derive the optimal proposal density for Approximate Bayesian Computation (ABC) using Sequential Monte Carlo (SMC) (or Population Monte Carlo, PMC). The criterion for optimality is that the SMC/PMC-ABC sampler maximise the effective number of samples per parameter proposal. The optimal proposal density represents the optimal trade-off between favoring high acceptance rate and reducing the variance of the importance weights of accepted samples. We discuss two convenient approximations of this proposal and show that the optimal proposal density gives a significant boost in the expected sampling efficiency compared to standard kernels that are in common use in the ABC literature, especially as the number of parameters increases.

연구 동기 및 목표

• SMC-ABC 알고리즘에서 나쁜 제안 밀도 선택으로 인한 낮은 표본 추출 효율성 문제를 해결하기 위해.
• 제안된 매개변수 수당 효과적인 표본 수를 최대화하는 최적의 제안 밀도를 규명하기 위해.
• 특정 커널 가족(예: 가우시안 또는 KDE)에 제한되지 않는 이론적으로 탄탄한 적응형 제안 체계를 제공하기 위해.
• 최적 제안 밀도가 매개변수 수가 증가할수록 특히 뚜렷한 효율성 향상을 제공함을 보여주기 위해.
• 표준 사후 밀도 추정기와 함께 사용 가능한 계산적으로 효율적인 실용적 근사치를 제공하기 위해.

제안 방법

• 제안 당 효과적인 표본 수를 최대화함으로써 최적 제안 밀도 $ q^* $ 를 유도한다. 이는 수용률과 중요도 가중치를 적용한 후의 효과적인 표본 수의 곱으로 정의된다.
• 적응적 $ \epsilon \to 0 $ 근사에서 최적성 기준을 설정하며, 각 SMC 반복에서 ABC 사후 밀도 추정기가 가용하다는 가정을 한다.
• 수렴 가능한 반복적 방법을 사용하여 이전 세대의 수용된 표본들로부터 $ q^* $ 를 구하는 암묵적 방정식을 제안한다.
• 두 가지 실용적 근사치를 도입한다: 사전과 사후의 기하 평균, 그리고 사후 밀도 추정기를 사용한 KDE 기반 근사치.
• 제안 밀도의 편향을 보정하기 위해 중요도 표본 추출을 사용하며, 가중치는 $ \pi(\theta)/q(\theta) $ 로 정의되며, 여기서 $ \pi $ 는 사전, $ q $ 는 제안 밀도이다.
• 가우시안 모델에서 분석적 및 수치적 비교를 통해 최적 제안 밀도가 표준 커널에 비해 효율성 향상을 보임을 검증한다.

실험 결과

연구 질문

• RQ1 SMC-ABC에서 제안된 매개변수 수당 효과적인 표본 수를 최대화하는 제안 밀도는 무엇인가?
• RQ2 최적 제안 밀도는 높은 수용률과 중요도 가중치의 낮은 분산 사이에서 어떻게 균형을 이룹니까?
• RQ3 고차원 매개변수 공간에서 최적 제안 밀도는 표본 추출 효율성에 어떤 영향을 미칩니까?
• RQ4 최적 제안 밀도의 실용적 근사치는 효율성 측면에서 표준 KDE 기반 방법과 비교해 어떻게 다릅니까?
• RQ5 최적 제안 밀도가 존재하는 방법에 비해 상대적 개선 효과가 가장 크게 나타나는 경우는 언제입니까?

주요 결과

• 최적 제안 밀도는 매개변수 수가 증가할수록 표준 커널에 비해 예상 표본 추출 효율성에서 뚜렷한 향상을 이룬다.
• 사전과 사후의 기하 평균 근사치는 낮은 차원 설정에서도 사후에서 직접 표본 추출하는 것보다 항상 뛰어난 성능을 보인다.
• 기하 평균 근사치를 사용했을 때의 표본 추출 효율성 향상은 매개변수 수가 증가함에 따라 기하급수적으로 증가하며, 특히 데이터가 정보가 풍부할 경우 두드러진다.
• Beaumont 등(2009)이 권장한 KDE 기반 방법과 비교해 기하 평균 근사치는 더 높은 효율성을 제공하며, 특히 고차원에서의 성능 향상이 커진다 (예: $ n_\theta = 10 $).
• 최적 제안 밀도는 특이한 구성(예: 서로 멀리 떨어진 동일 폭의 사전과 사후)을 제외한 모든 경우에서 $ a > 1 $ 를 보장한다. 이 경우 근사치는 성능이 떨어질 수 있다.
• 유도된 최적 제안 밀도는 히ュ리스틱한 커널 대역폭 선택에 비해 원칙적이고 적응형인 대안을 제공하며, 사후 밀도 추정을 제외한 계산 오버헤드가 최소한이다.