[论文解读] Likelihood-free inference via classification

Michael U. Gutmann, Ritabrata Dutta+2 more|arXiv (Cornell University)|Jul 18, 2014

Markov Chains and Monte Carlo Methods参考文献 1被引用 23

一句话总结

本文提出了一种无需似然函数的推理框架，将不可用生成模型的统计推断问题转化为在模拟数据与观测数据之间进行二分类的问题。通过训练分类器以区分不同参数下生成的数据，模型的分类准确率可作为差异度量，从而在无需显式计算似然函数的情况下实现高效的点估计与贝叶斯推断。其主要贡献在于提出了一种稳健且可扩展的方法，充分利用现代分类算法在模拟器基础推断中的全部潜力。

ABSTRACT

Increasingly complex generative models are being used across disciplines as they allow for realistic characterization of data, but a common difficulty with them is the prohibitively large computational cost to evaluate the likelihood function and thus to perform likelihood-based statistical inference. A likelihood-free inference framework has emerged where the parameters are identified by finding values that yield simulated data resembling the observed data. While widely applicable, a major difficulty in this framework is how to measure the discrepancy between the simulated and observed data. Transforming the original problem into a problem of classifying the data into simulated versus observed, we find that classification accuracy can be used to assess the discrepancy. The complete arsenal of classification methods becomes thereby available for inference of intractable generative models. We validate our approach using theory and simulations for both point estimation and Bayesian inference, and demonstrate its use on real data by inferring an individual-based epidemiological model for bacterial infections in child care centers.

研究动机与目标

• 解决生成模型中似然函数在计算上不可行或不可用的统计推断挑战。
• 克服传统无需似然方法依赖主观、专家选定的摘要统计量和距离度量的局限性。
• 开发一种通用的推理框架，充分利用各类分类技术来度量数据差异。
• 利用基于分类的差异度量，实现复杂模拟器基础模型的频率学派与贝叶斯推断。
• 在合成数据与真实世界数据（包括具有复杂潜在结构的流行病学模型）上，展示该方法的稳健性与准确性。

提出的方法

• 将无需似然函数的推断问题转化为二分类任务：区分观测数据与在给定参数值下模拟生成的数据。
• 使用训练模型的分类准确率作为模拟数据与观测数据之间的差异度量，准确率越高表示差异越大。
• 采用广泛的分类算法（如随机森林、神经网络、支持向量机）来估计差异度量，以实现灵活性与适应性。
• 在贝叶斯推断中，将分类准确率作为ABC算法中似然函数的代理，通过序列蒙特卡洛实现后验近似。
• 在分类器中引入专家摘要统计量作为特征，以在具备先验知识时提升性能。
• 使用随机投影或特征选择以改善泛化能力并降低高维数据设置下的维度。

实验结果

研究问题

• RQ1 在无需似然函数推断中，模拟数据与观测数据之间的分类准确率能否作为可靠、数据驱动的差异度量？
• RQ2 与传统摘要统计量和距离函数相比，基于分类的差异度量在估计准确率与稳健性方面表现如何？
• RQ3 在复杂模拟器基础模型中，基于分类的推断在多大程度上能实现准确的点估计与后验近似？
• RQ4 该方法能否通过特征工程有效整合专家知识，同时对次优或不完整的摘要统计量保持稳健？
• RQ5 在具有复杂、高维或潜在结构的现实世界数据（如基于个体的流行病模拟）上，该方法表现如何？

主要发现

• 模拟数据与观测数据之间的分类准确率可作为有效、可扩展且自适应的差异度量，在许多情况下优于传统摘要统计量。
• 该方法在多种模型（包括正态分布、伯努利分布、泊松分布、移动平均过程与ARCH过程）中实现了准确的后验推断，经过30次ABC迭代后，后验均值与标准差的相对误差低于10%。
• 在涉及儿童保育中心细菌传播的基于个体的模型真实数据中，基于分类器的ABC方法产生的后验分布比基线方法更集中，且更接近专家验证结果，尤其在使用随机特征投影时表现更优。
• 当仅使用有限的专家摘要统计量时，基于分类器的方法通过学习额外的判别性特征，成功弥补了其次优性，恢复了后验准确性。
• 在分类器中使用随机投影可提高收敛速度并降低后验方差，相比使用原始数据特征，实现了更稳定、更精确的推断。
• 该方法在多种数据类型（包括连续型、离散型、二值型及时间序列数据）中表现出稳健性与可扩展性，且几乎无需调参。