[論文レビュー] Coverage Of Confidence Intervals For Poisson Statistics In Presence Of Systematic Uncertainties

Jan Conrad, O. Botner+2 more|ArXiv.org|Jun 14, 2002

Scientific Measurement and Uncertainty Evaluation被引用数 6

ひとこと要約

この論文は、系統的不確実性が存在する際のポアソン分布データの信頼区間のカバレッジ特性を調査し、Cousins & Highland手法をさまざまな不確実性の種類と形状に拡張する。Feldman & Cousins区間はポアソン分布の離散性のため過剰にカバーする一方、Roe & Woodroofe区間は信号期待値が低い場合に不足カバーを示す。系統的不確実性は一般的に過剰カバーを増大させ、特にガウス分布および対数正規分布では顕著であり、カバレッジはテストに用いられるアンサンブル定義に強く依存する。

ABSTRACT

In this note we consider coverage of confidence intervals calculated with and without systematic uncertainties. These calculations follow the prescription originally proposed by Cousins & Highland but here extended to account for different shapes, size and types of systematic uncertainties. Also two different ordering schemes are considered: the Feldman & Cousins ordering and its variant where conditioning on the background expectation is applied as proposed by Roe & Woodroofe. Without uncertainties Feldman & Cousins method over-covers as expected because of the discreteness of the Poisson distribution. For Roe & Woodroofe's method we find under-coverage for low signal expectations. When including uncertainties it becomes important to define the ensemble for which the coverage is determined. We consider two different ensembles, where in ensemble A all nuisance parameters are fixed and in ensemble B the nuisance parameters are varied according to their uncertainties. We also discuss the subtleties of the realization of the ensemble with varying systematic uncertainties.

研究の動機と目的

• 高エネルギー物理学実験で一般的に見られるように、系統的不確実性を伴うポアソン分布データの信頼区間のカバレッジを評価すること。
• 相関を含む、さまざまな形状、大きさ、種類の系統的不確実性を考慮するために、Cousins & Highlandの頻度主義的手法を拡張すること。
• Feldman & CousinsおよびRoe & Woodroofeの2つの順序付けスキームの性能を、さまざまな系統的不確実性条件下で比較すること。
• アンサンブルの定義（同一の実験 vs. 異なるネイジュー変数を有する類似実験）がカバレッジ特性に与える影響を調査すること。
• 信号効率などのネイジュー変数を各実験で確率的に変動させるモンテカルロアンサンブルを実現する際の微妙な点を明確にすること。

提案手法

• 信号およびバックグラウンド効率、バックグラウンドレベルにおける系統的不確実性を記述する確率密度関数（PDF）を統合することで、Cousins & Highland手法を拡張する。
• POLEプログラムを用いたモンテカルロ統合により信頼帯を計算し、ガウス分布、一様分布、対数正規分布を用いて不確実性をモデル化する。
• 2つの順序付けスキーム（Feldman & Cousins（FC）およびRoe & Woodroofe（RW））を用い、バックグラウンド期待値の条件付き処理の有無を含めて適用する。
• 2つのアンサンブルを用いてカバレッジ計算を実施：(A) 固定されたネイジュー変数（同一の実験）、(B) ネイジュー変数がその不確実性分布から抽出された（類似実験）。
• アンサンブル(B)を、各モンテカルロ試行で真の信号効率をランダムに抽出することで実現し、区間構築とカバレッジテストの整合性を保証する。
• カバレッジを、複数の信号期待値および不確実性仮定下で、真の信号値が計算された信頼区間内に入る試行の割合として定量化する。

実験結果

リサーチクエスチョン

• RQ1 系統的不確実性の導入が、ポアソン分布データの信頼区間のカバレッジにどのように影響するか？
• RQ2 系統的不確実性が導入された場合、Feldman & CousinsおよびRoe & Woodroofeの順序付けスキームのカバレッジ性能はどのように変化するか？
• RQ3 不確実性分布の形状と種類（ガウス分布、一様分布、対数正規分布）が、結果としてのカバレッジに影響を与えるか？
• RQ4 アンサンブル定義の選択（同一の実験（固定されたネイジュー変数）対類似実験（変動するネイジュー変数））がカバレッジ結果に与える影響は？
• RQ5 ネイジュー変数が確率的に変動するアンサンブルを含む場合、Cousins & Highland手法は頻度主義統計と整合的か？

主な発見

• Feldman & Cousins手法は、系統的不確実性が存在しない場合でも、ポアソン分布の離散性のため過剰にカバーする。
• Roe & Woodroofe手法は、系統的不確実性が存在しない場合でも、信号期待値が低い場合に不足カバーを示す。
• 系統的不確実性は過剰カバーを増大させ、特にガウス分布および対数正規分布の不確実性分布で顕著である。
• 同じ不確実性の大きさ（例：40％の信号効率不確実性）において、90％信頼水準でのカバレッジは約92％から約94％に上昇し、ややの過剰カバーが生じることを示唆する。
• 真の信号効率が繰り返し実験において確率的に変動するアンサンブルを含む場合、Cousins & Highland手法は追加のバイアスを導入せず、適切なカバレッジを維持する。
• カバレッジ結果はアンサンブル定義に強く依存する：固定パラメータアンサンブル（A）を用いる場合と、変動パラメータアンサンブル（B）を用いる場合ではカバレッジ行動が異なり、後者は現実の実験により適切に反映される。