[论文解读] Benchpress: A Scalable and Versatile Workflow for Benchmarking Structure Learning Algorithms

Felix L. Rios, Giusi Moffa+1 more|Zenodo (CERN European Organization for Nuclear Research)|Jul 8, 2021

Bayesian Modeling and Causal Inference被引用 4

一句话总结

Benchpress 是一种可扩展、模块化且可复现的工作流，用于在概率图模型中对结构学习算法进行基准测试，通过 JSON 配置接口统一不同编程语言中的多种算法、数据生成器和评估指标。它支持系统性、平台无关的比较，提供标准化输出、可视化功能以及 MCMC 诊断支持，显著降低了基准测试的工作量，同时提升了因果发现研究中的可复现性和可扩展性。

ABSTRACT

Describing the relationship between the variables in a study domain and modelling the data generating mechanism is a fundamental problem in many empirical sciences. Probabilistic graphical models are one common approach to tackle the problem. Learning the graphical structure for such models is computationally challenging and a fervent area of current research with a plethora of algorithms being developed. To facilitate the benchmarking of different methods, we present a novel Snakemake workflow, called Benchpress for producing scalable, reproducible, and platform-independent benchmarks of structure learning algorithms for probabilistic graphical models. Benchpress is interfaced via a simple JSON-file, which makes it accessible for all users, while the code is designed in a fully modular fashion to enable researchers to contribute additional methodologies. Benchpress currently provides an interface to a large number of state-of-the-art algorithms from libraries such as BDgraph, BiDAG, bnlearn, causal-learn, gCastle, GOBNILP, pcalg, r.blip, scikit-learn, TETRAD, and trilearn as well as a variety of methods for data generating models and performance evaluation. Alongside user-defined models and randomly generated datasets, the workflow also includes a number of standard datasets and graphical models from the literature, which may be included in a benchmarking study. We demonstrate the applicability of this workflow for learning Bayesian networks in five typical data scenarios. The source code and documentation is publicly available from http://benchpressdocs.readthedocs.io.

研究动机与目标

• 解决概率图模型中结构学习算法缺乏标准化、可复现且可扩展的基准测试工作流的问题。
• 将不同编程语言和框架实现的多样化算法统一到一个可互操作的基准测试环境中。
• 通过提供模块化、可扩展且平台无关的工作流，减轻对比研究中手动脚本开发的工作负担。
• 支持使用多种指标、可视化功能和诊断方法（包括 MCMC 收敛检查和图属性分析）进行综合评估。
• 通过实现系统性、透明且可共享的基准测试，促进因果发现研究中的可复现性，覆盖多种数据场景。

提出的方法

• 通过简洁、人类可读的 JSON 文件进行工作流配置，用户无需编码即可定义算法、数据源、评估指标和可视化模块。
• 集成来自 11 个主要库的最先进结构学习算法，包括 bnlearn、pcalg、GOBNILP 和 gCastle，支持跨不同方法族的对比分析。
• 框架支持合成数据生成（使用用户定义或文献中的图模型）和真实世界数据集，确保广泛适用性。
• 使用标准化指标（如 F1、TP、FP、FN 和计算时间）进行评估，结果以结构化 CSV 格式存储，便于后续分析。
• 可视化模块生成箱线图、ROC 曲线、成对图、估计图与真实图对比图，以及 MCMC 诊断图（如轨迹图、自相关图、边概率热力图）。
• 支持基于 MCMC 的推理，包含预 burn-in、薄化处理以及功能追踪（如边数、得分），实现收敛性评估和后验估计。

实验结果

研究问题

• RQ1 如何设计一个统一、可扩展且可复现的基准测试工作流，以在不同编程语言和框架之间比较多种结构学习算法？
• RQ2 在不同数据场景（如样本量小、高维或非高斯分布）下，结构学习算法的性能受到何种影响？
• RQ3 在不同数据设置下，不同评估指标（如 F1、精确率、召回率）对同一算法的排名如何变化？多指标评估能否提升基准测试的稳健性？
• RQ4 在标准化基准测试框架中，基于 MCMC 的推理方法在多大程度上可以被有效监控和可视化？
• RQ5 如何通过整合具有已知结构的半合成数据和真实数据集，提升基准测试结果的有效性和泛化能力？

主要发现

• Benchpress 实现了在五个不同数据场景下对 14 种最先进结构学习算法的端到端基准测试，显著降低了设置和执行的开销。
• 该工作流成功将来自 11 个不同库的异构算法（包括基于得分和基于约束的方法）整合到单一、一致的评估流水线中。
• 基于 MCMC 的方法（如 bidag_itsearch 和 gcastle_notears）通过内置诊断工具（如轨迹图、自相关图、边概率热力图）实现了有效监控。
• 该框架生成标准化、机器可读的 CSV 输出以及丰富的可视化结果（如 ROC 曲线、图对比图），有助于实现透明且可复现的报告。
• 通过整合合成数据和真实世界数据集（如来自文献和标准基准库的数据），显著提升了基准测试结果的泛化能力和实际相关性。
• 模块化设计支持无缝扩展新算法、数据生成器和评估指标，确保长期可维护性与社区采纳。