[论文解读] A comment on estimating sensitivity to neutrino mass hierarchy in neutrino experiments

O. Vitells, Alex Read|arXiv (Cornell University)|Nov 16, 2013

Neutrino Physics Research参考文献 5被引用 3

一句话总结

本文批判了在中微子质量序实验中使用平均后验概率作为敏感度度量的方法，表明该方法可能严重低估真实敏感度。研究指出，由于分布偏斜，此类平均值具有误导性，因此主张使用Asimov数据集计算中位数显著性，以更准确反映典型实验结果，并与传统的频率学派敏感度度量保持一致。

ABSTRACT

Recently it has been proposed, in the context of experiments designed to resolve the neutrino mass hierarchy, to use the average posterior probability of one of the hypotheses as a measure of sensitivity of future experiments. This has led to sensitivity estimates that are drastically lower than common conventions. We point to the fact that such estimates can be severely misleading: the probability that an experiment would actually produce a result similar to the average value can be in fact negligibly small. We emphasize again the simple relation between median significance and the likelihood ratio evaluated with the ``Asimov'' data set, which can be used to express experimental sensitivity in Bayesian terms as well.

研究动机与目标

• 挑战在中微子质量序实验中使用平均后验概率作为敏感度指标的做法。
• 强调在[0,1]有界范围内分布偏斜时，平均后验概率具有误导性。
• 阐明中位数显著性与在Asimov数据集上计算的似然比之间的关系。
• 证明平均后验概率可能代表极不可能发生的事件，从而导致对实验敏感度的低估。
• 强调在贝叶斯与频率学派框架中，区分基于中位数与基于平均值的敏感度度量的重要性。

提出的方法

• 利用在原假设与备择假设下似然比检验统计量的渐近性质。
• 应用Asimov数据集——即在真实假设下的期望数据——通过检验统计量 $ q_A = Z^2 $ 计算中位数显著性。
• 利用似然比分布的正态近似，推导出期望后验概率 $ E[P(H_1)] $ 的边界。
• 将平均后验概率与分位数（如90%和1%分位数）进行比较，以说明平均值位于分布尾部。
• 使用关系式 $ z^{med} = \bar{Z} = \bar{Z} $，其中 $ Z = \bar{Z} $，将中位数显著性与Asimov检验统计量联系起来。
• 分析通过 $ P(q > 0) = 1 - \Phi(Z/2) $ 正确判断质量序的概率，表明该方法低估了典型表现。

实验结果

研究问题

• RQ1 为何平均后验概率在中微子质量序搜索中是实验敏感度的不良代理？
• RQ2 基于Asimov数据集计算的中位数显著性如何与传统敏感度度量相关联？
• RQ3 当分布高度偏斜且有界时，使用平均后验概率会产生何种影响？
• RQ4 为何平均后验概率系统性地低估了获得高证据（如5σ或以上）的概率？
• RQ5 在现实实验预期方面，基于中位数的敏感度与基于平均值的敏感度（如中位数显著性与平均后验概率）有何差异？

主要发现

• 正确假设（NH）的平均后验概率是具有误导性的敏感度度量，因为它可能代表发生概率可忽略的事件。
• 对于Asimov检验统计量 $ q_A = 100 $，反序质量序（IH）的平均后验概率超过 $ 10^{-7} $，而1%分位数低至 $ 10^{-12} $，表明大多数结果远比平均值更有利。
• 平均后验概率的上界为 $ 1 - \frac{1}{2}\Phi(-Z/2) $，这实际上使显著性水平降低约一半，相比中位数显著性。
• 平均后验概率对应的显著性水平约为 $ Z/\sqrt{2} $，远低于中位数显著性 $ Z $，导致敏感度被系统性低估。
• 通过似然比正确识别真实质量序的概率（即 $ P(q > 0) $）为 $ 1 - \Phi(Z/2) $，该值也低估了典型表现，因为它将中位数结果视为参考点。
• 当 $ Z = 10 $（中位数显著性）时，实验有100%的概率实现5σ发现，但平均后验概率方法会暗示敏感度低得多，与实际实验预期存在严重脱节。