[論文レビュー] How to Use Experimental Data to Compute the Probability of Your Theory

G. Choudalakis|arXiv (Cornell University)|Oct 24, 2011

Particle physics theoretical and experimental studies参考文献 4被引用数 4

ひとこと要約

本論文は、理論家が実験データを用いて理論的モデルのパラメータのベイズ的後方確率と信用区間を、最小限の計算リソースで実用的かつアクセスしやすい方法で計算するための手法を提示する。Mathematicaを用いたベイズ推論の実装方法、特にベイズ的上限のカバレッジ計算についても示し、事前分布の指定の重要性および実験者との協働の重要性を強調する。

ABSTRACT

This article is geared towards theorists interested in estimating parameters of their theoretical models, and computing their own limits using available experimental data and elementary Mathematica code. The examples given can be useful also to experimentalists who wish to learn how to use Bayesian methods. A thorough introduction precedes the practical part, to make clear the advantages and shortcomings of the method, and to prevent its abuse. The goal of this article is to help bridge the gap between theory and experiment.

研究の動機と目的

• 理論家が利用可能な実験データと基本的なベイズ推論を用いて、自身のモデルのパラメータを推定し、制限を設定できるようにすること。
• ベイズ分析のコードベースの簡単なアプローチを提供することで、理論的および実験的高エネルギー物理学の間の溝を埋めること。
• 特に、関心のパラメータの確率を直接的に定量化できる点で、頻度主義的手法に比べたベイズ推論の概念的利点を明確にすること。
• ベイズ的上限のカバレッジを計算するフレームワークを提供し、頻度主義的実践者による懸念に応えること。
• 事前分布への感受性、実験者との協働、仮定の透明性を強調することで、ベイズ手法の責任ある使用を促進すること。

提案手法

• ベイズの定理に基づき、実験データを前提とした関心のパラメータ（POI）の後方確率密度関数（PDF）をベイズ推論により計算する：P(POI|data) ∝ P(data|POI) × P(POI)。
• POIのための非情報的またはユーザー定義の事前分布PDFを採用し、ポアソン分布または二項分布に従うデータから導出された尤度関数を用いて更新する。
• モンテカルロ疑似実験を用いた数値的後方分布の計算を実装：異なる仮定された信号強度（v）に対して疑似データセットを生成し、後方分布を計算し、95%信用区間が真のvを含むかどうかを評価する。
• 95%信用区間が真の信号強度vを含む疑似実験の割合を推定することで、ベイズ的上限のカバレッジを計算する。
• 明示的な上限計算を避けるための数値的トリックを用いる：真のvまでの後方分布の積分が信用水準（例：0.95）未満であるかどうかをチェックすることで、上限がvを超えることを示す。
• 干渉を伴う場合、異なる実験からの複数のデータセット、複数のPOI、および畳み込みを用いたシステムティック不確実性を含むケースにこの手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 理論家は、公開済みの実験データを用いて、モデルのパラメータの後方確率分布をどのように計算できるか？
• RQ2 ベイズ的上限のカバレッジとは何か？ そして繰り返し実験において頻度主義的カバレッジと比べてどうなるか？
• RQ3 事前分布の選択が、ベイズ推論における結果の後方分布および信用区間に与える影響は何か？
• RQ4 異なる観測量とシステムティック不確実性を持つ複数の実験のデータをどのように統合してベイズ手法を適用できるか？
• RQ5 最小限の計算リソースで実行可能で、高度な統計ソフトウェアが不要な、理論家が使用可能な実用的かつコードベースのベイズ推論の実装方法は何か？

主な発見

• 本手法は、単純なMathematicaコードを用いて、ポアソン分布および二項分布に従うデータに対して、後方PDFおよびベイズ的上限を効果的に計算できる。
• 10,000回の疑似実験を用いた数値的推定により、95%ベイズ的上限のカバレッジは0.960であった。これは、名目の95%水準と良好に一致していることを示している。
• 真の信号強度（v）が増加するにつれて、カバレッジは徐々に信用水準（0.95）に近づく。これは、本手法の一貫性を確認するものである。
• 後方分布は事前分布に依存するが、十分なデータがあれば、すべての妥当な事前分布は類似した後方分布に収束する。ただし、デルタ関数型の極端な例（例：クロネッカーのデルタ関数）を除く。
• 本手法により、異なる事前分布のもとでのベイズ的結果の評価が可能となり、感度分析および推論の透明性が向上する。
• 本アプローチにより、理論家は頻度主義的手法に依存せずに信用区間を計算し、カバレッジを評価できるようになるが、同時に実験的制約および協働の慣習を尊重することができる。