[논문 리뷰] Model Misspecification in ABC: Consequences and Diagnostics

David T. Frazier, Christian P. Robert외 1명|arXiv (Cornell University)|2017. 08. 07.

Markov Chains and Monte Carlo Methods참고 문헌 20인용 수 16

한 줄 요약

이 논문은 근사 Bayesian 계산(ABC)에서 모형 오특사용의 영향을 조사하며, 다양한 ABC 변형—수락/기각 ABC와 회귀 보정 ABC—이 오특사용 하에서 서로 다른 의사진실 매개변수에 후행 확률 질량을 집중시킬 수 있음을 보여준다. 오특사용을 진단하기 위해 ABC 변형 간의 차이를 기반으로 한 진단 방법을 제안하며, 이러한 차이가 몽테카를로 변동성에도 불구하고 체계적이고 진단 가능한 것으로 나타난다.

ABSTRACT

We analyze the behavior of approximate Bayesian computation (ABC) when the model generating the simulated data differs from the actual data generating process; i.e., when the data simulator in ABC is misspecified. We demonstrate both theoretically and in simple, but practically relevant, examples that when the model is misspecified different versions of ABC can yield substantially different results. Our theoretical results demonstrate that even though the model is misspecified, under regularity conditions, the accept/reject ABC approach concentrates posterior mass on an appropriately defined pseudo-true parameter value. However, under model misspecification the ABC posterior does not yield credible sets with valid frequentist coverage and has non-standard asymptotic behavior. In addition, we examine the theoretical behavior of the popular local regression adjustment to ABC under model misspecification and demonstrate that this approach concentrates posterior mass on a completely different pseudo-true value than accept/reject ABC. Using our theoretical results, we suggest two approaches to diagnose model misspecification in ABC. All theoretical results and diagnostics are illustrated in a simple running example.

연구 동기 및 목표

• 모형 오특사용 하에서 ABC의 이론적 행동을 분석하고, 특히 데이터 시뮬레이터가 진짜 데이터 생성 과정과 일치하지 않을 경우를 다루는 것.
• 수락/기각 ABC와 局부 회귀 보정 ABC와 같은 다양한 ABC 구현 방식이 오특사용 하에서 어떻게 행동하는지 조사하여, 이질적인 점 渐진 농도 집중 현상을 드러내는 것.
• ABC 변형 간의 체계적 차이를 활용하여 모형 오특사용을 진단하는 실용적 진단법을 개발하는 것.
• 오특사용 하에서 유도된 신뢰구간이 유효한 빈도적 커버리지가 아니며, 비표준 점 渐진 행동을 보임을 보여주는 것.
• 모형 오특사용 하에서 후처리 기법(예: 회귀 보정)의 강건성을 평가하고, 대안을 제안하는 것.

제안 방법

• 정규성 및 식별 가능성 조건 하에서 수락/기각 ABC의 이론적 분석을 통해 오특사용 하에서 의사진실 매개변수에 후행 확률이 집중됨을 보여주는 것.
• 회귀 보정 ABC의 점 渐진 행동 유도를 통해 오특사용 하에서 수락/기각 ABC와 다른 의사진실 값에 집중됨을 증명하는 것.
• 다른 ABC 변형 간의 후행 분포를 비교하여 매개변수 추정치의 차이에서 유도된 검정 통계량을 사용한 진단 절차 제안.
• 몬테카를로 시뮬레이션을 활용하여 이론적 결과를 검증하고, 다양한 오특사용 수준 하에서 ABC 출력 간 차이의 표본 분포를 비교하는 것.
• 정규 분포 위치-스케일 모형에 진단을 적용하여 요약 통계량과 허용 오차 기반 비교를 수행하는 것.
• ABC 출력에서 생성된 기준 표를 사용하여 진단 임계값을 校정하여 진짜 모형 오특사용과 몽테카를로 노이즈를 구분하는 것.

실험 결과

연구 질문

• RQ1 모형 오특사용은 ABC 후행 확률의 점 渐진 행동과 집중에 어떤 영향을 미치는가?
• RQ2 수락/기각 ABC와 회귀 보정 ABC와 같은 다양한 ABC 구현 방식은 모형 오특사용 하에서 동일한 의사진실 매개변수로 수렴하는가?
• RQ3 ABC 변형 간의 차이를 체계적으로 활용하여 모형 오특사용을 진단할 수 있는가?
• RQ4 오특사용 하에서 유도된 ABC 후행 확률의 신뢰구간은 빈도적 커버리지가 있는가?
• RQ5 허용 오차 수열의 선택은 오특사용 하에서 잘 지정된 설정과 비교해 어떤 영향을 미치는가?

주요 결과

• 모형 오특사용 하에서 수락/기각 ABC는 진짜 데이터 생성 과정에 가장 가까운 모형 클래스 내 분포에 의해 정의된 의사진실 매개변수 값에 후행 확률 질량을 집중시한다.
• 회귀 보정 ABC는 수락/기각 ABC와 다른 의사진실 매개변수에 집중되며, 이는 후처리 과정이 오특사용 영향을 악화시킬 수 있음을 시사한다.
• 오특사용 하에서 유도된 ABC 후행 확률의 신뢰구간은 조건부로도 유효한 빈도적 커버리지가 없다.
• 오특사용 하에서 ABC의 점 渐진 행동은 비표준적이며, 일반적인 후행 확률 집중 패tern과 다름을 보인다.
• 진단 절차는 높은 검정력으로 모형 오특사용을 진단한다: 정규 예제에서 $σ^2 = 2$ 및 $3$일 때, 테스트 통계량을 구성하는 데 사용된 매개변수에 관계없이 95–100%의 진단률을 기록한다.
• 오특사용 하에서는 정규 지정 하에서보다 $\sqrt{n}\|\hat{h}-\tilde{h}\|$를 통해 측정된 ABC 변형 간의 차이가 체계적으로 더 크며, 이는 신뢰성 있는 진단을 가능하게 한다.