[논문 리뷰] Confidence Sets and Hypothesis Testing in a Likelihood-Free Inference Setting

Niccolò Dalmasso, Rafael Izbicki외 1명|arXiv (Cornell University)|2020. 02. 24.

Markov Chains and Monte Carlo Methods인용 수 5

한 줄 요약

이 논문은 가능도 함수가 추정되지 않는 상황에서도 유의미한 가설 검정과 신뢰구간 추정을 가능하게 하는 likelihood-free 추론 방법인 ACORE를 제안한다. ACORE는 확률적 분류기(예: 소프트맥스를 사용하는 신경망)를 활용해 가능도 비율 통계량을 추정함으로써, 일반적인 가설 검정과 신뢰구간 구성 문제를 분류 문제로 재구성한다. 매개변수 공간에서 검정 통계량의 매끄러움을 활용하여 시뮬레이션 횟수를 줄이고, 타당한 커버리지와 높은 검정력 확보를 가능하게 하며, 실험적 결과를 통해 정확한 신뢰구간과 효율적인 런타임을 입증한다.

ABSTRACT

Parameter estimation, statistical tests and confidence sets are the cornerstones of classical statistics that allow scientists to make inferences about the underlying process that generated the observed data. A key question is whether one can still construct hypothesis tests and confidence sets with proper coverage and high power in a so-called likelihood-free inference (LFI) setting; that is, a setting where the likelihood is not explicitly known but one can forward-simulate observable data according to a stochastic model. In this paper, we present $\ exttt{ACORE}$ (Approximate Computation via Odds Ratio Estimation), a frequentist approach to LFI that first formulates the classical likelihood ratio test (LRT) as a parametrized classification problem, and then uses the equivalence of tests and confidence sets to build confidence regions for parameters of interest. We also present a goodness-of-fit procedure for checking whether the constructed tests and confidence regions are valid. $\ exttt{ACORE}$ is based on the key observation that the LRT statistic, the rejection probability of the test, and the coverage of the confidence set are conditional distribution functions which often vary smoothly as a function of the parameters of interest. Hence, instead of relying solely on samples simulated at fixed parameter settings (as is the convention in standard Monte Carlo solutions), one can leverage machine learning tools and data simulated in the neighborhood of a parameter to improve estimates of quantities of interest. We demonstrate the efficacy of $\ exttt{ACORE}$ with both theoretical and empirical results. Our implementation is available on Github.

연구 동기 및 목표

• 가능도 함수가 추정되지 않는 상황에서도 타당한 I형 오류 제어와 높은 통계적 검정력을 유지하는 범주형 추론 접근법을 개발하는 것.
• 가능도 함수가 추정되지 않지만 정방향 시뮬레이션이 가능한 상황에서 타당한 커버리지가 보장된 신뢰구간을 구성하는 것.
• 기계학습을 활용해 매개변수 공간에서 검정 통계량의 매끄러움을 이용하여 필요한 시뮬레이션 횟수를 줄이는 것.
• 구성된 신뢰구간의 실증적 커버리지와 적합도를 평가하기 위한 진단 도구를 제공하는 것.
• 다양한 분류기와 호환 가능한 단일 모듈러 프레임워크를 통해 가설 검정과 신뢰구간 구성 문제를 통합하는 것.

제안 방법

• ACORE는 확률적 분류기(예: 소프트맥스를 사용하는 신경망)를 활용해 가능도 비율 검정(LRT)을 매개변수 기반 분류 문제로 재구성하여, LRT 통계량을 근사하는 오즈 비율을 추정한다.
• 검정 통계량은 귀무모형 하에서 시뮬레이션된 데이터와 기준 분포 간의 로그 오즈 비율로 계산되며, 이는 가설 검정과 신뢰구간 구성에 활용된다.
• 가설 검정의 임계값은 각 매개변수 값에서 반복적 샘플링을 피하기 위해 시뮬레이션된 검정 통계량에 대한 분위수 회귀를 통해 추정된다.
• 신뢰구간의 실증적 커버리지는 알려지지 않은 매개변수에 따라 커버리지 확률을 평가하는 적합도 절차를 통해 진단된다.
• 조건부 분포 함수(예: 검정 통계량, 커버리지 등)의 국소적 매끄러움을 활용하여 최소한의 시뮬레이션으로도 추정 효율성을 향상시킨다.
• ACORE는 모듈러리하고 확장 가능하여 다양한 분류기 간의 교환과 더 나아가 전체 LFI 파ipeline에의 통합이 가능하다.

실험 결과

연구 질문

• RQ1 가능도 함수가 명시적으로 제공되지 않는 likelihood-free 추론 환경에서 타당한 범주형 가설 검정과 신뢰구간을 구성할 수 있는가?
• RQ2 기계학습 분류기를 사용하여 likelihood-free 환경에서 가능도 비율 통계량을 효율적으로 추정할 수 있는가? 이는 필요한 시뮬레이션 횟수를 줄일 수 있는가?
• RQ3 각 매개변수 값에서 반복적 샘플링 없이도 검정의 임계값을 어떻게 추정할 수 있는가?
• RQ4 likelihood-free 환경에서 구성된 신뢰구간의 커버리지를 실증적으로 평가하기 위한 진단 도구를 개발할 수 있는가?
• RQ5 매개변수 공간 전역에서 검정 통계량의 매끄러움이 likelihood-free 환경에서 더 효율적인 추론을 가능하게 하는가?

주요 결과

• ACORE는 90% 신뢰구간을 구성할 때 실증적 커버리지가 명목 수준에 매우 가까운 결과를 보이며, 타당한 범주형 성질을 입증한다.
• 포isson 및 GMM 예제에서 ACORE는 30초 이내에 한 개의 신뢰구간을 구성했으며, 시뮬레이션 크기와 함께 효율적으로 런타임이 증가한다.
• ACORE에서 사용된 MLP 및 QDA 분류기는 가장 빠른 런타임을 기록했으며, 포isson 예제에서 B=100일 경우 총 소요 시간이 12초 이내였다.
• ACORE의 런타임 성능은 가우시안 프로세스 보간과 유사했고, 양 예제에서 CARL 분류기보다도 훨씬 빠르게 작동했다.
• 가설 검정에서는 높은 검정력을 확보했으며, 기대 크기가 작은 신뢰구간을 생성하여 효율적인 추론을 가능하게 했다.
• 진단 모듈은 커버리지의 이탈을 성공적으로 식별하여, 모델의 잘못된 특정화 또는 추정 오류를 탐지할 수 있는 능력을 입증했다.