[论文解读] How to Use Experimental Data to Compute the Probability of Your Theory

G. Choudalakis|arXiv (Cornell University)|Oct 24, 2011

Particle physics theoretical and experimental studies参考文献 4被引用 4

一句话总结

本文提出了一种实用且易于理解的方法，使理论物理学家能够使用实验数据，以极少的计算资源计算其理论模型参数的贝叶斯后验概率和可信区间。该文展示了如何在 Mathematica 中实现贝叶斯推断，包括贝叶斯极限的覆盖计算，并强调了先验分布设定的重要性以及与实验学家合作的必要性。

ABSTRACT

This article is geared towards theorists interested in estimating parameters of their theoretical models, and computing their own limits using available experimental data and elementary Mathematica code. The examples given can be useful also to experimentalists who wish to learn how to use Bayesian methods. A thorough introduction precedes the practical part, to make clear the advantages and shortcomings of the method, and to prevent its abuse. The goal of this article is to help bridge the gap between theory and experiment.

研究动机与目标

• 使理论物理学家能够利用现有实验数据和基础贝叶斯推断，估算其模型中的参数并设定限制。
• 通过提供一种直接的、基于代码的贝叶斯分析方法，弥合理论与实验高能物理之间的差距。
• 阐明贝叶斯推断相较于频率学派方法的理论优势，特别是在直接量化感兴趣参数的概率方面。
• 提供一种计算贝叶斯上限覆盖性的框架，以回应频率学派实践者的关切。
• 通过强调先验敏感性、与实验学家的合作以及假设的透明化，促进贝叶斯方法的负责任使用。

提出的方法

• 基于贝叶斯定理，使用贝叶斯推断计算给定实验数据时感兴趣参数（POI）的后验概率密度函数（PDF）：P(POI|data) ∝ P(data|POI) × P(POI)。
• 为 POI 使用非信息性或用户定义的先验 PDF，并利用来自泊松分布或二项分布数据的似然函数进行更新。
• 通过蒙特卡洛伪实验实现后验的数值计算：针对不同假设的信号强度（v）生成伪数据集，计算后验，并判断 95% 可信区间是否包含真实的 v。
• 通过估算在所有伪实验中 95% 可信区间包含真实信号强度 v 的比例，计算贝叶斯上限的覆盖性。
• 使用一种数值技巧避免显式计算上限：检查后验分布从 0 到 v 的积分是否小于置信水平（例如 0.95），若成立则表明上限超过 v。
• 将该方法应用于存在信号与背景干涉、来自不同实验的多个数据集、多个 POI 以及通过卷积处理系统不确定性的场景。

实验结果

研究问题

• RQ1 理论物理学家如何利用公开的实验数据计算模型参数的后验概率分布？
• RQ2 贝叶斯上限的覆盖性是什么？在重复实验中，其与频率学派覆盖性的表现如何比较？
• RQ3 先验的选择如何影响贝叶斯推断中的后验分布和可信区间？
• RQ4 贝叶斯方法如何应用于结合具有不同可观测量和系统不确定性的不同实验的数据？
• RQ5 是否存在一种实用的、基于代码的贝叶斯推断实现方式，其计算资源需求极低，且理论物理学家无需高级统计软件即可使用？

主要发现

• 该方法使用简单的 Mathematica 代码，成功计算了泊松分布和二项分布数据的后验 PDF 及贝叶斯极限。
• 通过 10,000 次伪实验的数值估计，95% 贝叶斯上限的覆盖性为 0.960，与名义上的 95% 水平具有良好一致性。
• 随着真实信号强度（v）的增加，覆盖性渐近趋近于置信水平（0.95），证实了该方法的一致性。
• 后验分布依赖于先验，但在数据足够多时，所有合理的先验均会收敛至相似的后验分布，除非出现如克罗内克函数（Kronecker delta）等极端情况。
• 该方法允许在不同先验下评估贝叶斯结果，从而实现敏感性分析，并增强推断过程的透明度。
• 该方法使理论物理学家能够在不依赖频率学派方法的前提下，计算可信区间并评估其覆盖性，同时仍尊重实验约束和合作规范。