[論文レビュー] Negatively Biased Relevant Subsets Induced by the Most-Powerful One-Sided Upper Confidence Limits for a Bounded Physical Parameter

R. Cousins|arXiv (Cornell University)|Sep 9, 2011

Probabilistic and Robust Engineering Design参考文献 13被引用数 6

ひとこと要約

この論文は、素粒子物理学における片側上側信頼区間の計算に広く使われている「元の対角線法」の使用を批判し、事後データにおける被覆率の低下を引き起こす負のバイアスをもたらす関連する部分集合を生じさせることを示している。また、パワー制約や切り捨てを施した修正版ですら根本的な問題を解決しないと主張し、代わりにFeldman-Cousinsの両側尤度比順序付けを優れた代替手法として提唱している。この手法は条件付き被覆率の性質が優れており、深刻なバイアスを回避する。

ABSTRACT

Suppose an observable x is the measured value (negative or non-negative) of a true mean mu (physically non-negative) in an experiment with a Gaussian resolution function with known fixed rms deviation s. The most powerful one-sided upper confidence limit at 95% C.L. is UL = x+1.64s, which I refer to as the "original diagonal line". Perceived problems in HEP with small or non-physical upper limits for x<0 historically led, for example, to substitution of max(0,x) for x, and eventually to abandonment in the Particle Data Group's Review of Particle Physics of this diagonal line relationship between UL and x. Recently Cowan, Cranmer, Gross, and Vitells (CCGV) have advocated a concept of "power constraint" that when applied to this problem yields variants of diagonal line, including UL = max(-1,x)+1.64s. Thus it is timely to consider again what is problematic about the original diagonal line, and whether or not modifications cure these defects. In a 2002 Comment, statistician Leon Jay Gleser pointed to the literature on recognizable and relevant subsets. For upper limits given by the original diagonal line, the sample space for x has recognizable relevant subsets in which the quoted 95% C.L. is known to be negatively biased (anti-conservative) by a finite amount for all values of mu. This issue is at the heart of a dispute between Jerzy Neyman and Sir Ronald Fisher over fifty years ago, the crux of which is the relevance of pre-data coverage probabilities when making post-data inferences. The literature describes illuminating connections to Bayesian statistics as well. Methods such as that advocated by CCGV have 100% unconditional coverage for certain values of mu and hence formally evade the traditional criteria for negatively biased relevant subsets; I argue that concerns remain. Comparison with frequentist intervals advocated by Feldman and Cousins also sheds light on the issues.

研究の動機と目的

• 素粒子物理学における片側上側限界を計算する際に広く使われている「元の対角線法」の統計的欠陥を分析すること。
• 切り捨て（ゼロ以下に制限）やパワー制約付き限界といった修正版が、関連する部分集合における負のバイアスの問題を解決しない理由を調査すること。
• Neyman-Fisher論争を踏まえ、頻度主義的信頼区間が事前データおよび事後データの被覆評価とどのように整合するかを検討すること。
• Feldman-Cousinsの両側尤度比順序付けを、関連する部分集合における深刻なバイアスを回避するより信頼性の高い代替手法として採用すべきだと主張すること。
• 関連する部分集合と被覆バイアスの観点から、頻度主義的信頼区間とベイズ的手法との関係を明確にすること。

提案手法

• μ_UL = x + 1.64σ で定義される元の対角線法の信頼帯の構築を分析し、すべてのμに対して既知の負のバイアスを示す認識可能な関連する部分集合を生じさせることを示した。
• 統計文献、特にGleserの研究から得られる関連する部分集合の概念を適用し、すべてのμに対して、特定のデータ領域では95%信頼水準が反保守的（anti-conservative）であることを示した。
• 元の手法と修正版（例：μ_UL = max(0, x+1.64σ) や μ_UL = max(−1, x) + 1.64σ）を比較し、被覆問題が依然として存在することを示した。
• Feldman-Cousins手法（両側尤度比順序付け）を評価し、より良好な条件付き被覆率を提供し、最悪ケースのバイアスを回避できることを示した。
• Neyman-Pearsonフレームワークを用いて、事前データの無条件被覆率と事後データの条件付き被覆率の対比を行い、信頼水準の解釈における葛藤を強調した。
• ベイズ統計との関連をレビューし、事前分布が良い頻度主義的被覆率を実現する場合、頻度主義的区間と類似した信用区間を生成できることを示し、両アプローチの橋渡しの可能性を示唆した。

実験結果

リサーチクエスチョン

• RQ1 なぜ元の対角線法による上側限界の計算は、事後推論において関連する部分集合に負のバイアスを生じさせるのか？
• RQ2 パワー制約付きや切り捨てを施した対角線法の修正版は、関連する部分集合における被覆バイアスの問題を解消できるのか？
• RQ3 Feldman-Cousins手法の被覆性質（条件付きおよび無条件被覆）は、対角線法およびその変種と比較してどのように異なるか？
• RQ4 ベイズ的手法は、頻度主義的信頼区間における被覆バイアスの問題をどの程度情報提供または解決できるのか？
• RQ5 すべての関連する部分集合で適切な被覆を保証すると同時に、高い検出力と解釈可能性を維持できる一般化された手法を構築できるか？

主な発見

• 元の対角線法（μ_UL = x + 1.64σ）は、すべてのμに対して、既知の負のバイアスを示す認識可能な関連する部分集合を生じさせ、95%信頼水準が体系的に反保守的（anti-conservative）である。
• ゼロに切り捨てた（μ_UL = max(0, x+1.64σ)）やパワー制約付き（例：μ_UL = max(−1, x) + 1.64σ）といった修正版ですら、関連する部分集合における負のバイアスの問題を完全に解消できない。
• Feldman-Cousinsの両側尤度比順序付け法は、より良好な条件付き被覆率を提供し、最悪ケースのバイアスを回避するため、より信頼性の高い代替手法である。
• 問題の根本には、事前データの無条件被覆率と事後データの条件付き被覆率の間にある根本的矛盾に起因し、Neyman-Pearsonフレームワークではこの矛盾を解消できない。
• 関連する部分集合に関する文献は、ベイズ統計と深い関係を示しており、良好な頻度主義的被覆率を実現する事前分布が、実用的な前向きの道筋を示唆している。
• すべての関連する部分集合とそのスーパーセットで良好な被覆を同時に保証する一般化された信頼区間の構築法は存在せず、現行の頻度主義的手法の限界を示している。