[论文解读] Likelihood-free inference by penalised logistic regression

Ritabrata Dutta, Jukka Corander+2 more|arXiv (Cornell University)|Nov 30, 2016

Gaussian Processes and Bayesian Inference参考文献 38被引用 9

一句话总结

本文提出一种无需似然函数的推断方法，采用惩罚性逻辑回归来估计后验分布，而无需显式似然函数。通过将后验估计问题转化为比率估计问题并应用正则化，该方法能自动选择相关摘要统计量，在复杂高维模型中表现优于合成似然和ABC方法，同时保持使用简便。

ABSTRACT

We consider the problem of parametric statistical inference when likelihood computations are prohibitively expensive but sampling from the model is possible. Several so-called likelihood-free methods have been developed to perform inference in the absence of a likelihood function. The popular synthetic likelihood approach infers the parameters by modelling summary statistics of the data by a Gaussian probability distribution. In another popular approach called approximate Bayesian computation, the inference is performed by identifying parameter values for which the summary statistics of the simulated data are close to those of the observed data. Synthetic likelihood is easier to use as no measure of `closeness' is required but the Gaussianity assumption is often limiting. Moreover, both approaches require judiciously chosen summary statistics. We here present an alternative inference approach that is as easy to use as synthetic likelihood but not as restricted in its assumptions, and that, in a natural way, enables automatic selection of relevant summary statistic from a large set of candidates. The basic idea is to frame the problem of estimating the posterior as a problem of estimating the ratio between the data generating distribution and the marginal distribution. This problem can be solved by logistic regression, and including regularising penalty terms enables automatic selection of the summary statistics relevant to the inference task. We illustrate the general theory on canonical examples and employ it to perform inference for challenging stochastic nonlinear dynamical systems and high-dimensional summary statistics.

研究动机与目标

• 为解决现有无似然推断方法（如合成似然和近似贝叶斯计算）的局限性，这些方法依赖于限制性假设或需要手动选择摘要统计量。
• 开发一种方法，其使用简便性与合成似然相当，但无需假设摘要统计量服从多元正态分布。
• 利用正则化从大量候选摘要统计量中实现自动、数据驱动的相关摘要统计量选择。
• 为具有高维摘要统计量的随机非线性动力系统提供一种可扩展且稳健的推断方法。
• 将后验估计问题建模为比率估计问题，通过带惩罚项的逻辑回归求解，实现变量选择。

提出的方法

• 该方法将数据生成分布与边缘分布之间的后验比率形式化为一个分类问题。
• 利用逻辑回归估计某一样本点来自观测数据分布还是给定参数值下模拟分布的对数胜率。
• 对逻辑回归系数施加L1（Lasso）或类似惩罚，以实现对信息性摘要统计量的自动选择。
• 利用估计的逻辑回归系数近似模型参数的后验分布。
• 该方法利用从模型中进行的蒙特卡洛抽样来训练逻辑分类器，避免了显式似然计算。
• 该方法对高维摘要统计量具有鲁棒性，且无需合成似然中固有的高斯假设。

实验结果

研究问题

• RQ1 能否开发一种无似然推断方法，避免合成似然的高斯性假设，同时保持易于实现？
• RQ2 惩罚性逻辑回归能否自动从大量候选摘要统计量中识别出最相关的统计量？
• RQ3 在复杂模型中，该方法在准确性和鲁棒性方面与合成似然和ABC相比表现如何？
• RQ4 该方法能否在高维摘要统计量和非线性随机动力系统中实现有效扩展？
• RQ5 逻辑回归中的正则化在通过消除无关摘要统计量来提升推断方面，其作用程度如何？

主要发现

• 所提出的方法在典型示例中实现了与合成似然和ABC相当或更优的准确性，尤其在合成似然的高斯性假设被违反时表现更优。
• 惩罚性逻辑回归成功识别并仅保留最具有信息量的摘要统计量，减少噪声并提高推断效率。
• 该方法在高维摘要统计量上表现出稳健性能，而传统方法常因维度灾难而失效。
• 它在后验似然不可计算且摘要统计量为高维的复杂随机非线性动力系统中实现了可靠推断。
• 正则化部分有效消除了无关摘要统计量，从而在无需人工选择的情况下获得更精确的后验估计。
• 该方法保持了计算可行性与使用简便性，与合成似然相当，同时具备更高的灵活性和统计鲁棒性。