[论文解读] Confidence Sets and Hypothesis Testing in a Likelihood-Free Inference Setting

Niccolò Dalmasso, Rafael Izbicki+1 more|arXiv (Cornell University)|Feb 24, 2020

Markov Chains and Monte Carlo Methods被引用 5

一句话总结

该论文提出ACORE，一种无需似然函数的推断方法，将频率学派假设检验与置信集构建问题转化为分类问题，利用概率分类器估计似然比统计量。通过利用参数空间中检验统计量的平滑性，ACORE减少了模拟需求，确保了有效的覆盖概率和高检验效能，实证验证表明其能生成准确的置信集并实现高效的运行时间。

ABSTRACT

Parameter estimation, statistical tests and confidence sets are the cornerstones of classical statistics that allow scientists to make inferences about the underlying process that generated the observed data. A key question is whether one can still construct hypothesis tests and confidence sets with proper coverage and high power in a so-called likelihood-free inference (LFI) setting; that is, a setting where the likelihood is not explicitly known but one can forward-simulate observable data according to a stochastic model. In this paper, we present $\ exttt{ACORE}$ (Approximate Computation via Odds Ratio Estimation), a frequentist approach to LFI that first formulates the classical likelihood ratio test (LRT) as a parametrized classification problem, and then uses the equivalence of tests and confidence sets to build confidence regions for parameters of interest. We also present a goodness-of-fit procedure for checking whether the constructed tests and confidence regions are valid. $\ exttt{ACORE}$ is based on the key observation that the LRT statistic, the rejection probability of the test, and the coverage of the confidence set are conditional distribution functions which often vary smoothly as a function of the parameters of interest. Hence, instead of relying solely on samples simulated at fixed parameter settings (as is the convention in standard Monte Carlo solutions), one can leverage machine learning tools and data simulated in the neighborhood of a parameter to improve estimates of quantities of interest. We demonstrate the efficacy of $\ exttt{ACORE}$ with both theoretical and empirical results. Our implementation is available on Github.

研究动机与目标

• 开发一种无需似然函数的频率学派推断方法（LFI），在保持第一类错误控制有效性和高统计效能的同时，实现稳健推断。
• 在似然函数不可计算但可进行前向模拟的设定下，构建具有正确覆盖概率的置信集。
• 通过利用机器学习方法对参数空间中检验统计量的平滑性，减少所需模拟次数。
• 提供诊断工具，用于实证评估所构建置信集的覆盖概率和拟合优度。
• 在统一、模块化的框架下整合假设检验与置信集构建，兼容多种分类器。

提出的方法

• ACORE将似然比检验（LRT）形式化为参数化分类问题，利用概率分类器（如带Softmax输出的神经网络）估计似然比的奇偶比，近似LRT统计量。
• 检验统计量通过计算原假设模型下模拟数据与参考分布之间的对数奇偶比获得，从而支持假设检验与置信集构建。
• 通过在模拟的检验统计量上进行分位数回归，估计假设检验的临界值，避免在每个参数值处重复采样。
• 利用拟合优度程序诊断置信集的实证覆盖概率，将覆盖概率作为未知参数的函数进行评估。
• 该方法利用条件分布函数（如检验统计量、覆盖概率）在局部区域的平滑性，以最小模拟次数实现高效估计。
• ACORE具有模块化与可扩展性，支持分类器互换，并可集成到更广泛的LFI流程中。

实验结果

研究问题

• RQ1 在无需显式似然函数的似然自由推断设定下，能否构建具有有效频率学派性质的假设检验与置信集？
• RQ2 能否利用机器学习分类器高效估计LFI中的似然比统计量，从而减少所需模拟次数？
• RQ3 如何在不针对每个参数值重复采样的前提下，估计检验的临界值？
• RQ4 能否开发诊断工具，实证评估LFI中所构建置信集的覆盖性能？
• RQ5 检验统计量在参数空间中的平滑性是否能提升LFI中的推断效率？

主要发现

• ACORE构建的90%置信集实证覆盖概率接近名义水平，验证了其有效的频率学派性质。
• 在泊松分布与高斯混合模型（GMM）示例中，ACORE在30秒内完成一个置信集的构建，运行时间随模拟规模高效扩展。
• MLP与QDA分类器在ACORE中运行速度最快，泊松示例中B=100时总运行时间低于12秒。
• ACORE的运行时间性能与高斯过程插值相当，且显著快于CARL分类器，在两个示例中均表现优异。
• 该方法在假设检验中实现了高统计效能，且置信集的期望大小较小，表明推断效率高。
• 诊断模块成功识别出覆盖概率的偏差，验证了方法检测模型误设或估计误差的能力。