[论文解读] Benchmarking Simulation-Based Inference

Jan-Matthis Lueckmann, Jan Boelts+3 more|arXiv (Cornell University)|Jan 12, 2021

Gaussian Processes and Bayesian Inference参考文献 77被引用 21

一句话总结

本文提出了一种用于模拟推断（SBI）的公开基准框架，旨在实现对无似然推断算法的标准化、透明化和可复现性评估。该框架在具有真实后验分布的十个任务上评估了多种算法，包括基于神经网络的方法和经典ABC方法，结果表明：性能高度依赖于评估指标；序列化估计能显著提升样本效率；基于神经网络的方法总体上优于经典方法，但尚无单一算法在所有任务上全面占优。

ABSTRACT

Recent advances in probabilistic modelling have led to a large number of simulation-based inference algorithms which do not require numerical evaluation of likelihoods. However, a public benchmark with appropriate performance metrics for such 'likelihood-free' algorithms has been lacking. This has made it difficult to compare algorithms and identify their strengths and weaknesses. We set out to fill this gap: We provide a benchmark with inference tasks and suitable performance metrics, with an initial selection of algorithms including recent approaches employing neural networks and classical Approximate Bayesian Computation methods. We found that the choice of performance metric is critical, that even state-of-the-art algorithms have substantial room for improvement, and that sequential estimation improves sample efficiency. Neural network-based approaches generally exhibit better performance, but there is no uniformly best algorithm. We provide practical advice and highlight the potential of the benchmark to diagnose problems and improve algorithms. The results can be explored interactively on a companion website. All code is open source, making it possible to contribute further benchmark tasks and inference algorithms.

研究动机与目标

• 为解决模拟推断（SBI）算法缺乏标准化基准的问题，该问题阻碍了公平比较与技术进步。
• 识别并评估适用于SBI的性能指标，以解决现有指标中存在的偏差与不一致性。
• 提供一组经过筛选的推断任务，其后验分布具有解析可解性，以实现对算法的精确评估。
• 通过发布开源代码和交互式网站以可视化结果，促进可复现性与社区协作开发。
• 为实践者提供选择合适SBI算法的指导，并为未来算法设计提供参考。

提出的方法

• 该基准包含十个多样化的推断任务，涵盖从低维高斯分布到复杂生态与流行病学模型，其似然函数具有解析可解性，从而可计算真实后验分布。
• 针对每个任务，通过精确贝叶斯推断计算参考后验分布，以实现对算法性能的精确评估。
• 评估多种性能指标，包括C2ST（分类器两样本检验）、能量距离和KLD，特别关注其对超参数和任务特性的敏感性。
• 该框架支持非序列化与序列化推断算法，后者可通过自适应提议分布提升样本效率。
• 基准整合了多种SBI算法，包括SNPE、SNLE、SMC-ABC和ABC-REJ，并通过统一接口实现一致评估。
• 交互式网站（sbi-benchmark.github.io）支持在任务与指标之间实时比较算法性能，并可对后验样本进行可视化检查。

实验结果

研究问题

• RQ1 哪些性能指标在评估SBI算法时最为可靠和具有信息量？它们在不同推断任务中的表现如何变化？
• RQ2 现代基于神经网络的SBI算法与经典ABC方法相比，在准确性和样本效率方面有何差异？
• RQ3 在有限模拟预算下，序列化估计在多大程度上能提升SBI算法的性能？
• RQ4 当前SBI算法是否存在系统性弱点，可通过基准测试诊断并加以改进？
• RQ5 标准化的开源基准框架在多大程度上能加速新SBI算法的开发与采用？

主要发现

• 性能指标的选择显著影响算法排名，C2ST和能量距离等指标对超参数和任务结构表现出强烈敏感性。
• 即使最先进的SBI算法与真实后验分布之间仍存在显著性能差距，表明仍有巨大改进空间。
• 序列化估计策略始终能提升样本效率，显著减少达到相似准确度所需的模拟次数。
• 基于神经网络的方法（如SNPE和SNLE）在大多数任务中普遍优于经典ABC方法，但性能随任务复杂度和维度变化而异。
• 基准发现，多模态后验分布和高维摘要统计量构成特殊挑战，部分算法难以捕捉复杂的后验结构。
• 真实后验分布的存在使得超参数调优与实现调试更加有效，凸显了参考解在算法开发中的价值。