[论文解读] Statistical Inference of Intractable Generative Models via Classification

Michael U. Gutmann, Ritabrata Dutta+2 more|arXiv (Cornell University)|Jul 18, 2014

Statistical Mechanics and Entropy被引用 6

一句话总结

本文提出了一种针对不可行生成模型的似然-free推断框架，通过将统计推断重新表述为在模拟数据与观测数据之间进行二分类的任务。通过使用分类准确率作为差异度量，该方法利用了分类方法的全部范围，实现了无需显式似然计算的高效且可扩展的推断。

ABSTRACT

Increasingly complex generative models are being used across the disciplines as they allow for realistic characterization of data, but a common difficulty with them is the prohibitively large computational cost to perform likelihood-based statistical inference. We consider here a likelihood-free framework where inference is done by identifying parameter values which generate simulated data adequately resembling the observed data. A major difficulty is how to measure the discrepancy between the simulated and observed data. Transforming the original problem into a problem of classifying the data into simulated versus observed, we find that classification accuracy can be used to assess the discrepancy. The complete arsenal of classification methods becomes thereby available for inference of intractable generative models.

研究动机与目标

• 解决复杂生成模型中基于似然的推断带来的高计算成本问题。
• 为具有不可行似然的模型开发一种可扩展的基于似然的推断替代方法。
• 在无需显式似然计算的情况下，度量观测数据与模拟数据之间的差异。
• 利用分类方法作为生成建模中统计推断的工具。
• 提供一种灵活、通用的框架，适用于广泛范围的不可行模型。

提出的方法

• 将推断问题重新表述为二分类任务：区分观测数据与从生成模型中模拟的数据。
• 使用训练好的判别器的分类准确率来量化观测数据与模拟数据之间的差异。
• 将高分类准确率视为拟合度差的证据（即，模拟数据与观测数据可轻易区分），而低准确率则表示拟合良好。
• 在成对数据（观测数据 vs. 模拟数据）上训练分类器，以估计差异度量。
• 在似然-free推断流程中使用该差异度量，例如近似贝叶斯计算或序列蒙特卡洛。
• 利用任何现成的分类模型（例如神经网络、随机森林）以扩展到高维数据。

实验结果

研究问题

• RQ1 分类准确率能否作为似然-free推断中统计差异的可靠代理？
• RQ2 与传统的基于似然或ABC的推断相比，该方法在准确率和效率方面表现如何？
• RQ3 标准分类模型在多大程度上可用于推断具有不可行似然的生成模型的参数？
• RQ4 该框架是否可在高维数据上应用而不会显著损失性能？
• RQ5 分类器性能与后验近似质量之间存在何种关系？

主要发现

• 分类准确率提供了观测数据与模拟数据之间差异的可靠且有效的度量，从而支持似然-free推断。
• 该方法实现了无需显式似然计算的高效推断，降低了计算开销。
• 该框架具有通用性，可与任何分类模型结合使用，包括深度神经网络和基于树的模型。
• 该方法在基准问题上的推断准确率与现有成熟的似然-free方法相当。
• 基于分类的差异度量使高维数据场景下的可扩展推断成为可能。
• 该方法在多种生成模型和数据类型（包括复杂且真实的概率分布）中表现出鲁棒性。