[论文解读] Interpretable Uncertainty Quantification in AI for HEP

Thomas Y. Chen, Biprateep Dey+4 more|arXiv (Cornell University)|Aug 5, 2022

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本文倡导在高能物理（HEP）领域的人工智能（AI）应用中采用具有物理解释性的不确定性量化（UQ），提出AI驱动的UQ必须与传统的HEP统计与系统不确定性框架保持一致。本文建议建立标准化基准、加强社区协作，并将可解释AI工具整合到HEP工作流中，以确保AI驱动分析中不确定性估计的可信性、可靠性与科学意义。

ABSTRACT

Estimating uncertainty is at the core of performing scientific measurements in HEP: a measurement is not useful without an estimate of its uncertainty. The goal of uncertainty quantification (UQ) is inextricably linked to the question, "how do we physically and statistically interpret these uncertainties?" The answer to this question depends not only on the computational task we aim to undertake, but also on the methods we use for that task. For artificial intelligence (AI) applications in HEP, there are several areas where interpretable methods for UQ are essential, including inference, simulation, and control/decision-making. There exist some methods for each of these areas, but they have not yet been demonstrated to be as trustworthy as more traditional approaches currently employed in physics (e.g., non-AI frequentist and Bayesian methods). Shedding light on the questions above requires additional understanding of the interplay of AI systems and uncertainty quantification. We briefly discuss the existing methods in each area and relate them to tasks across HEP. We then discuss recommendations for avenues to pursue to develop the necessary techniques for reliable widespread usage of AI with UQ over the next decade.

研究动机与目标

• 解决高能物理（HEP）领域AI应用中对可靠不确定性量化（UQ）日益增长的需求，其中传统统计与系统不确定性是基础。
• 识别AI不确定性术语（偶然性/认知性）与HEP不确定性类别（统计性/系统性）之间的不匹配，这种不匹配阻碍了信任与可解释性。
• 推动开发在物理上可解释且统计上严谨的AI UQ方法，尤其针对HEP中的推断、模拟与控制任务。
• 促进HEP、统计学与AI社区之间的协作，统一术语并开发共享基准，用于评估可解释的UQ方法。
• 通过将新AI UQ技术嵌入标准软件堆栈并支持方法开发的竞赛，加速其在HEP中的采用。

提出的方法

• 提出严格的局部校准测试，以评估AI模型预测的不确定性是否与观测到的误差频率一致。
• 建议创建共享基准数据集，用于在HEP任务（如粒子重建、分类与模拟代理建模）中测试和比较可解释的UQ方法。
• 倡导将成熟的可解释性工具（如LIME、Shapley值、部分依赖图与ALE图）整合到HEP工作流中，以提升模型透明度。
• 鼓励将通用UQ方法嵌入深度学习软件堆栈（类似scikit-learn），以实现在HEP社区中的广泛、标准化使用。
• 强调在HEP、统计学与AI社区之间建立统一术语体系的重要性，以统一术语并减少不确定性解释中的模糊性。
• 建议资助挑战赛与竞赛，以推动UQ与偏差缓解方面的创新，特别是针对无统计来源的不确定性（如理论或模型形式不确定性）。

实验结果

研究问题

• RQ1 如何使HEP中基于AI的不确定性估计具有物理解释性，并与传统的统计与系统不确定性框架保持一致？
• RQ2 当前AI不确定性方法（如偶然性与认知性不确定性）在多大程度上对应于HEP的统计与系统不确定性类别？
• RQ3 当不确定性源于非统计来源（如模型形式错误或不可计算的QFT效应）时，使用AI减少不确定性估计会带来何种风险？
• RQ4 HEP、统计学与AI社区如何协作，以开发用于物理领域可解释UQ的共享语言与基准框架？
• RQ5 标准化软件集成与竞赛在加速可信AI UQ在HEP中采用方面应发挥何种作用？

主要发现

• AI不确定性术语（偶然性/认知性）与HEP不确定性类别（统计性/系统性）之间存在关键不匹配，这削弱了AI驱动物理分析中的信任与可解释性。
• HEP中的系统性不确定性——尤其是源于理论或模拟模型局限性的不确定性——通常缺乏统计来源，无法被严格量化，因此基于AI的不确定性减少可能具有误导性。
• 当前AI UQ方法在HEP中的可信度尚不及传统的频率学或贝叶斯方法，凸显了改进验证与校准技术的必要性。
• 基准数据集与标准化评估协议对于在HEP应用中比较与验证可解释UQ方法至关重要。
• 将可解释UQ工具嵌入广泛使用的软件堆栈（例如，类似scikit-learn）是实现在HEP社区中广泛采用与可复现性的必要条件。
• 资助机构应支持聚焦于UQ与偏差缓解的挑战赛与竞赛，以加速方法创新与全社区范围的验证。