[论文解读] Exploring Parameter Spaces with Artificial Intelligence and Machine Learning Black-Box Optimisation Algorithms

Fernando Abreu de Souza, Miguel Crispim Romão+3 more|arXiv (Cornell University)|Jun 18, 2022

Dark Matter and Cosmic Phenomena被引用 4

一句话总结

该论文提出了一种基于人工智能/机器学习算法（CMA-ES、TPE 和 NSGA-II）的黑箱优化框架，通过最小化物理可观测量的复合代价函数，高效探索高维的规范模型之外（BSM）参数空间，如 cMSSM 和 pMSSM。与随机采样相比，该方法在保持合理覆盖范围的同时，将采样效率提升了数个数量级，其中 CMA-ES 在约束区域表现出接近单位效率。

ABSTRACT

Constraining Beyond the Standard Model theories usually involves scanning highly multi-dimensional parameter spaces and check observable predictions against experimental bounds and theoretical constraints. Such task is often timely and computationally expensive, especially when the model is severely constrained and thus leading to very low random sampling efficiency. In this work we tackled this challenge using Artificial Intelligence and Machine Learning search algorithms used for Black-Box optimisation problems. Using the cMSSM and the pMSSM parameter spaces, we consider both the Higgs mass and the Dark Matter Relic Density constraints to study their sampling efficiency and parameter space coverage. We find our methodology to produce orders of magnitude improvement of sampling efficiency whilst reasonably covering the parameter space.

研究动机与目标

• 解决在高维、高度约束的 BSM 参数空间（如 MSSM）扫描中的计算瓶颈问题，因为随机采样在低接受率下效率低下。
• 克服现有机器学习方法的局限性——这些方法通常需要大规模预训练数据集，但在 BSM 模型早期探索阶段往往难以获取。
• 将 BSM 参数空间扫描重新构建成一个黑箱优化问题，以实现在无需事先了解有效区域的前提下，实现数据高效、动态的探索。
• 评估并比较多种人工智能/机器学习优化算法（CMA-ES、TPE 和 NSGA-II）在采样效率和覆盖范围方面的表现，涵盖不同 BSM 模型。
• 证明该框架可推广至任意 BSM 模型，支持任意计算流程与约束条件，且不依赖于底层物理原理或编程语言。

提出的方法

• 通过定义结合理论与实验约束（如希格斯玻色子质量与暗物质遗迹密度）的代价函数，将 BSM 参数空间约束问题重新表述为黑箱优化任务。
• 采用三种基于人工智能/机器学习的优化算法：CMA-ES（协方差矩阵自适应进化策略）、TPE（树形结构帕尔岑估计器）和 NSGA-II（非支配排序遗传算法 II）来探索参数空间。
• 各算法基于代价函数的反馈迭代生成新的参数点，该代价函数通过物理计算器（如用于 MSSM 的 SARAH）进行评估，且无需梯度信息。
• 设计扫描过程包含单约束（希格斯质量）与多约束（希格斯 + 暗物质）场景，以测试在复杂度增加时的鲁棒性与效率。
• 通过采样效率（每轮评估中找到的有效点比例）与覆盖范围（探索到的有效区域比例）来衡量性能，并以随机采样作为基线进行比较。
• 在 GitLab 上实现模块化、可重用的代码库，支持与任意 BSM 计算流水线及约束集的集成。

实验结果

研究问题

• RQ1 与随机采样相比，黑箱优化算法是否能在高维、高度约束的 BSM 参数空间中显著提升采样效率？
• RQ2 不同的 AI/ML 优化策略（CMA-ES、TPE 和 NSGA-II）在 BSM 模型扫描中如何平衡探索与利用？它们各自表现出何种权衡？
• RQ3 这些算法在缺乏有效参数区域先验知识的情况下，能在多大程度上运行，从而避免对大规模预训练数据集的依赖？
• RQ4 引入多个约束（如希格斯玻色子质量与暗物质遗迹密度）如何影响优化算法的性能与收敛性？
• RQ5 所提出的框架是否可推广至 MSSM 以外的其他 BSM 模型及计算流水线，无论其底层物理原理或实现语言如何？

主要发现

• 所提出的黑箱优化框架在采样效率方面相比随机采样实现了数个数量级的提升，尤其在参数空间的高约束区域表现显著。
• CMA-ES 在约束场景下实现了接近单位的采样效率，归因于其自适应、贪婪的搜索策略，迅速收敛至有效区域。
• NSGA-II 提供了良好的探索-利用平衡，即使在高维空间中也保持高效，展现出对维度灾难的鲁棒性。
• TPE 的效率与随机采样相当，但在收敛后能提供更好的覆盖范围；然而，若早期收敛失败，其寻找有效点的能力较弱。
• 该框架成功处理了实验约束（如希格斯玻色子质量）与理论边界（如暗物质遗迹密度），且无需似然函数，显著拓宽了适用范围。
• 该方法具有通用性，可应用于任意 BSM 模型，支持任意计算流程与约束集合，如在 cMSSM 和 pMSSM 上仅需极少修改即得到验证。