[论文解读] A Deep Learning Method for Comparing Bayesian Hierarchical Models

Lasse Elsemüller, Martin Schnuerch+2 more|arXiv (Cornell University)|Jan 27, 2023

Bayesian Modeling and Causal Inference被引用 4

一句话总结

本文提出了一种深度学习方法，用于贝叶斯层次模型比较（BMC），实现了在复杂层次模型（包括隐式似然模型）中对贝叶斯因子和后验模型概率的高效、摊销推理。通过在 BayesFlow 框架内采用分层神经网络架构，该方法在计算成本显著降低的同时，实现了与桥接抽样相当的高精度，已在不可解的认知模型上取得成功，并展现出迁移学习优势。

ABSTRACT

Bayesian model comparison (BMC) offers a principled approach for assessing the relative merits of competing computational models and propagating uncertainty into model selection decisions. However, BMC is often intractable for the popular class of hierarchical models due to their high-dimensional nested parameter structure. To address this intractability, we propose a deep learning method for performing BMC on any set of hierarchical models which can be instantiated as probabilistic programs. Since our method enables amortized inference, it allows efficient re-estimation of posterior model probabilities and fast performance validation prior to any real-data application. In a series of extensive validation studies, we benchmark the performance of our method against the state-of-the-art bridge sampling method and demonstrate excellent amortized inference across all BMC settings. We then showcase our method by comparing four hierarchical evidence accumulation models that have previously been deemed intractable for BMC due to partly implicit likelihoods. Additionally, we demonstrate how transfer learning can be leveraged to enhance training efficiency. We provide reproducible code for all analyses and an open-source implementation of our method.

研究动机与目标

• 解决由于高维嵌套参数空间导致的层次模型贝叶斯模型比较（BMC）不可解问题。
• 开发一种可扩展的、基于模拟的BMC方法，避免对高维参数空间进行显式积分。
• 通过摊销推理实现在真实数据分析前的快速、重复模型比较。
• 将BMC的应用范围扩展至具有隐式似然的层次模型，如认知科学中的基于模拟的模型。
• 提供一种模型校准诊断方法，并支持迁移学习以提高训练效率。

提出的方法

• 该方法采用分层神经网络架构，直接从概率程序中近似贝叶斯因子和后验模型概率。
• 基于 BayesFlow 框架构建，支持在来自竞争性层次模型的模拟数据上进行端到端训练。
• 通过模拟数据训练模型以预测模型证据和后验模型概率，从而实现在新数据集上的摊销推理。
• 计算校准误差指标，以评估神经近似的自洽性和可靠性。
• 通过在相关模型族上微调预训练网络，支持迁移学习，从而减少新任务的训练时间。
• 该方法适用于具有显式似然的模型以及仅可通过蒙特卡洛模拟器访问的模型（隐式似然）。

(a) Marginal Likelihoods

实验结果

研究问题

• RQ1 深度学习模型能否准确近似具有复杂高维参数结构的层次模型的贝叶斯因子和后验模型概率？
• RQ2 与最先进的桥接抽样相比，所提出的深度学习方法在准确性和计算效率方面表现如何？
• RQ3 该方法能否有效应用于具有隐式似然的层次模型，如认知心理学中使用的模型？
• RQ4 在将该方法应用于新但相关的层次模型时，迁移学习在多大程度上能减少训练时间？
• RQ5 该方法的自校准误差在多大程度上可作为模型一致性的可靠诊断指标？

主要发现

• 该深度学习方法在所有测试的BMC设置中均达到与桥接抽样相当的性能，准确近似了贝叶斯因子和后验模型概率。
• 该方法实现了摊销推理，可在无需从头开始重新训练的情况下，快速重新估计新数据集上的模型概率。
• 该方法成功比较了四个具有部分隐式似然的层次证据累积模型，这些模型此前在BMC中难以处理。
• 该方法的校准误差提供了可靠的模型一致性诊断，低误差表明后验估计校准良好。
• 迁移学习显著减少了将模型适配到新层次模型时的训练时间，提升了可扩展性和可重用性。
• 提供了开源实现和可复现代码，支持完全可复现性及社区采纳。

(b) Posterior Model Probabilities