[论文解读] Dynamic Likelihood-free Inference via Ratio Estimation (DIRE)

Traiko Dinev, Michael U. Gutmann|arXiv (Cornell University)|Oct 23, 2018

Markov Chains and Monte Carlo Methods参考文献 32被引用 18

一句话总结

本文提出使用卷积神经网络（DireNet）通过比率估计的似然自由推断（LFIRE）自动学习总结统计量，显著提升了时间序列模型的后验估计精度。该方法通过训练神经网络直接从原始数据预测模型参数，生成的总结统计量在多个动力学模型中均优于手工设计或手动选择的统计量。

ABSTRACT

Parametric statistical models that are implicitly defined in terms of a stochastic data generating process are used in a wide range of scientific disciplines because they enable accurate modeling. However, learning the parameters from observed data is generally very difficult because their likelihood function is typically intractable. Likelihood-free Bayesian inference methods have been proposed which include the frameworks of approximate Bayesian computation (ABC), synthetic likelihood, and its recent generalization that performs likelihood-free inference by ratio estimation (LFIRE). A major difficulty in all these methods is choosing summary statistics that reduce the dimensionality of the data to facilitate inference. While several methods for choosing summary statistics have been proposed for ABC, the literature for synthetic likelihood and LFIRE is very thin to date. We here address this gap in the literature, focusing on the important special case of time-series models. We show that convolutional neural networks trained to predict the input parameters from the data provide suitable summary statistics for LFIRE. On a wide range of time-series models, a single neural network architecture produced equally or more accurate posteriors than alternative methods.

研究动机与目标

• 解决合成似然和LFIRE框架中缺乏系统性方法选择或学习总结统计量的问题。
• 开发一种自动化的、数据驱动的方法，以学习适用于时间序列模型似然自由贝叶斯推断的有效总结统计量。
• 证明从原始数据预测参数的神经网络可生成优于手工或启发式选择的总结统计量，适用于LFIRE。
• 在具有不可计算似然的时间序列模型上验证该方法，展示一致的性能提升。

提出的方法

• 使用监督学习目标，训练卷积神经网络（DireNet）直接从原始时间序列数据预测模型参数。
• 将训练后网络的最后几层作为低维总结统计量用于LFIRE，替代手工设计的统计量。
• 应用LFIRE通过比率估计方法估计后验，使用神经网络生成的总结统计量建模似然比。
• 利用时间卷积保留时间序列数据的序列结构，实现有效特征提取。
• 为每个模型训练一次网络并可在多个推断任务中复用，实现摊销推断。
• 利用LFIRE可推广至合成似然的事实，使该方法可同时应用于两种框架。

实验结果

研究问题

• RQ1 在时间序列模型中，一个从原始数据预测参数的深度神经网络能否作为LFIRE的有效总结统计量？
• RQ2 神经网络生成的总结统计量在LFIRE中的性能与手工选择的总结统计量相比如何？
• RQ3 一个单一的、通用的神经网络架构能否在具有不可计算似然的多样化时间序列模型中实现泛化？
• RQ4 与现有方法相比，所学习的总结统计量在多大程度上提升了后验估计精度？

主要发现

• 在Lorenz模型中，DireNet优于手工选择的总结统计量，且在所有测试模型中取得了最大的性能提升。
• 该方法在所有测试模型中（包括Lotka-Volterra和Ricker模型）均实现了同等或更高的后验估计精度，优于其他方法。
• 卷积神经网络学习到了时间序列数据的有意义且低维的表示，捕捉了推断所需的关键统计特征。
• 该方法实现了摊销推断，即单次网络训练可支持多个后验估计任务。
• 该方法在多样化动力学系统中表现出鲁棒性，表明其在测试模型之外也具有广泛适用性。