[논문 리뷰] Approximate Bayesian Computation via Classification

Yuexi Wang, Tetsuya Kaji외 1명|arXiv (Cornell University)|2021. 11. 22.

Markov Chains and Monte Carlo Methods참고 문헌 52인용 수 4

한 줄 요약

이 논문은 기존의 요약 통계량을 대체하여 분류 기반 Kullback-Leibler (KL) 발산 추정기로 구성된 새로운 Approximate Bayesian Computation (ABC) 프레임워크를 제안한다. 이는 적합도가 없는 모델 기반 추론에 대해 가능성을 열어주며, 실제 데이터와 시뮬레이션 데이터를 구분하는 분류기를 훈련시켜 KL 발산을 추정하고, 이를 이질성 측도로 사용함으로써 후행 분포의 농도율이 분류기 추정 오차에 의존하게 하며, 지수 핵함수를 통해 渐近 정규성을 달성한다. 이는 요약 통계량을 사용하는 기존 ABC보다 시뮬레이션 및 실제 주가 변동성 추정에서 더 뛰어난 성능을 보인다.

ABSTRACT

Approximate Bayesian Computation (ABC) enables statistical inference in simulator-based models whose likelihoods are difficult to calculate but easy to simulate from. ABC constructs a kernel-type approximation to the posterior distribution through an accept/reject mechanism which compares summary statistics of real and simulated data. To obviate the need for summary statistics, we directly compare empirical distributions with a Kullback-Leibler (KL) divergence estimator obtained via contrastive learning. In particular, we blend flexible machine learning classifiers within ABC to automate fake/real data comparisons. We consider the traditional accept/reject kernel as well as an exponential weighting scheme which does not require the ABC acceptance threshold. Our theoretical results show that the rate at which our ABC posterior distributions concentrate around the true parameter depends on the estimation error of the classifier. We derive limiting posterior shape results and find that, with a properly scaled exponential kernel, asymptotic normality holds. We demonstrate the usefulness of our approach on simulated examples as well as real data in the context of stock volatility estimation.

연구 동기 및 목표

• 기각 가능성이 있는 밀도를 가진 시뮬레이터 기반 모델에서 정확한 추론을 위해 핵심적인 역할을 하는 효과적인 요약 통계량 선택 문제를 해결하는 것.
• 기존의 수동적 요약 통계량 선택을 피하고, 분류기 기반 KL 발산 추정기를 사용하여 실재 데이터와 시뮬레이션 데이터의 경험적 분포를 직접 비교함으로써, 가능도 없는 추론 프레임워크를 개발하는 것.
• 분류기 추정 신뢰도를 기반으로 한 부드러운 지수 핵함수를 도입하여, 수동적 ABC 수락 임계값을 대체함으로써 후행 농도와 추론 효율성을 향상시키는 것.
• 이 방법의 성능에 대한 이론적 근거를 제공하여, 후행 농도율이 분류기 추정 오차와 후행 수축에 의존함을 보여주는 것.
• 기준 시뮬레이션과 실제 주가 변동성 추정에 대한 역사적 가격 데이터를 활용한 실용적 적용을 통해 방법의 실용성을 입증하는 것.

제안 방법

• 이 방법은 실재 데이터와 시뮬레이션 데이터를 구분하는 이元 분류기를 사용하며, 분류기의 출력 확률이 실재 데이터와 시뮬레이션 데이터의 경험적 분포 간 KL 발산의 추정치로 사용된다.
• 분류기는 실재 및 시뮬레이션 데이터 쌍을 기반으로 훈련되어 통계적 유사성을 반영하는 결정 경계를 학습함으로써, 요약 통계량 없이도 비모수적이고 민감한 이질성 측도를 제공한다.
• ABC 후행 분포는 핵함수 기반 수락 메커니즘을 사용하여 구성되며, 임계값이 있는 수락/기각 핵함수 또는 분류기의 신뢰도(즉, 실재 데이터일 확률)에 따라 샘플을 가중치를 주는 지수 핵함수를 사용한다.
• 지수 핵함수는 $ w( heta) = \text{exp}(-\tau \times \text{KL}_{\text{est}}(\theta)) $ 로 정의되며, 여기서 $ \tau $ 는 스케일링 파라미터이고, $ \text{KL}_{\text{est}} $ 는 분류기 기반 KL 추정기이다.
• 이론적 분석은 후행 농도가 분류기의 추정 오차 $ \tilde{\rho}_n $ 에 의존하며, 적절한 스케일링 하에 후행 분포가 渐近 정규성을 달성함을 보여준다.
• 이 방법은 일반화 베이지안 추론(GBI) 및 $ c $-후행 분포 프레임워크와 연결되며, KL 추정기가 강력한 베이지안 업데이트의 손실 함수로 작용한다.

실험 결과

연구 질문

• RQ1 실재 데이터와 시뮬레이션 데이터를 구분하는 데 훈련된 분류기가 요약 통계량 없이 ABC에 대한 신뢰할 수 있는 이질성 측도를 제공할 수 있는가?
• RQ2 요약 통계량을 사용하는 전통적 ABC와 비교해, 분류기 기반 KL 추정기를 사용한 ABC의 후행 농도 및 커버리지 성능은 어떻게 다른가?
• RQ3 제안된 분류 기반 ABC 방법의 후행 농도 이론적 속도는 무엇이며, 분류기의 추정 오차에 어떻게 의존하는가?
• RQ4 분류기 신뢰도를 기반으로 한 지수 핵함수는 임의의 ABC 수락 임계값 $ \tilde{\rho}_n $ 이 필요 없게 만들 수 있으며, 더 나은 빈도주의 성질을 제공하는가?
• RQ5 제안된 방법은 후행 분포의 渐近 정규성을 달성하는가? 그리고 이는 분류기와 모델에 어떤 조건에서 성립하는가?

주요 결과

• 제안된 분류 기반 ABC 방법은 주가 변동성 추정 사례에서 요약 통계량을 사용하는 ABC보다 더 좁은 후행 구간을 달성하여, 더 날카운 후행 분포를 확보한다.
• 수락/기각 ABC의 후행 농도율은 ABC 임계값 $ \tilde{\rho}_n $ 과 분류기 추정 오차 $ \tilde{\rho}_n $ 의 영향을 동시에 받으며, 분류기가 더 정확할수록 더 빠른 농도율을 보인다.
• 지수 핵함수 기반 ABC는 적절한 스케일링 하에 渐近 정규성을 달성하며, 후행 분포가 분류기의 추정 오차와 실제 후행 수축률에 의해 결정되는 속도로 진짜 매개변수 주변에 집중된다.
• BA 및 PG 주가의 실제 데이터 분석에서, 지수 핵함수를 사용한 방법은 다양한 방법 간 일관된 변동성 추정치($ \bar{\boldsymbol{\theta}} $)를 도출한 반면, 요약 통계량을 사용하는 ABC는 더 넓고 덜 정밀한 구간을 보였다.
• 모델 불일치에 대해 강건한 성능을 보이며, 수락/기각 버전은 $ c $-후행 분포 프레임워크에서 기인한 강건성을 유지하고, 지수 핵함수의 경우 일반화된 베이지안 추론과 공식적으로 연결되며, KL 발산이 손실 함수로 사용된다.
• 이론적 결과는 Gutmann 등(2018)의 ABC에서 분류 정확도를 사용하는 방법의 타당성을 입증하며, 분류기가 실재 데이터와 가짜 데이터를 얼마나 잘 분리하는지가 직접적으로 후행 추론 품질에 영향을 준다는 것을 보여준다.