[論文レビュー] On fits to correlated and auto-correlated data

Mattia Bruno, Rainer Sommer|arXiv (Cornell University)|Jan 1, 2022

Particle physics theoretical and experimental studies被引用数 2

ひとこと要約

この論文は、格子QCDで一般的に見られる相関のあるデータや自己相関のあるデータに対するカイ二乗適合の適合度のp値を、逆共分散行列が悪条件または推定不能な場合でも頑健に推定する手法を提示する。正則化された重み行列をカイ二乗統計量に用いることで、期待されるカイ二乗値とそのp値の解析的扱いやすい表現を導出し、共分散行列の推定が不正確な状況下でも信頼性のある統計的推論を可能にする。

ABSTRACT

Observables in particle physics and specifically in lattice QCD calculations are often extracted from fits. Standard $\chi^2$ tests require a reliable determination of the covariance matrix and its inverse from correlated and auto-correlated data, a challenging task often leading to close-to-singular estimates. These motivate modifications of the definition of $\chi^2$ such as uncorrelated fits. We show how the goodness-of-fit measured by their p-value can still be estimated robustly for a broad class of such fits.

研究の動機と目的

• この論文は、データが相関または自己相関している場合の格子QCDおよび素粒子物理学における信頼性のある適合度テストの課題に取り組む。
• モンテカルロシミュレーションで統計が限られている場合に、逆共分散行列が特異に近いと標準的カイ二乗検定は失敗する。
• 正確な逆共分散行列が不要な、解析的に根拠を持つp値推定のための頑健な手法を提供することを目的とする。
• 本手法は、共分散なしの適合、SVD正則化付き適合、および実務で一般的に用いられる他の正則化スキームに適用可能である。
• 正確な共分散推定ができない状況下でも、適合結果の統計的妥当性と解釈可能性を維持することを目的とする。

提案手法

• 著者らは、共分散行列Cとは独立に選べる対称的かつ正定値の重み行列Wを用いて一般化されたカイ二乗統計量を定義する。
• 真のパラメータからのずれの摂動展開を用いて、帰無仮説（モデルがデータに適合する）下での期待値⟨χ²(ā)⟩を導出する。
• 主な結果は、共分散行列の逆行列C⁻¹が悪条件であっても成り立つ、重み行列Wとモデルヤコビ行列の関数として⟨χ²(ā)⟩を解析的に表現する式である。
• 観測されたカイ二乗値と導出された期待値を用いて、自由度がデータ点数からフィットパラメータ数を引いた値に等しいカイ二乗分布からp値を推定する。
• データベクトルと共分散行列を拡張することで、複数のデータセット、運動的不確実性、ガウス的事前分布の取り扱いを拡張する。
• トゥイモデルでの数値的検証と、実用的用途を想定したオープンソースコードへの実装により、手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 逆共分散行列が特異に近い場合でも、相関または自己相関のあるデータに対する適合の信頼性のあるp値を推定することは可能か？
• RQ2 共分散行列の逆行列C⁻¹が正確に得られない状況で、共分散なしの適合やSVD正則化付き重みを用いた場合、標準的カイ二乗検定は依然として有効で解釈可能か？
• RQ3 正則化やモデル不確実性の存在下で、カイ二乗の期待値を解析的にどのように計算できるか？
• RQ4 マルコフ連鎖モンテカルロ法に起因する自己相関があるデータに対して、適合度を頑健に評価することは可能か？
• RQ5 大規模な格子QCDシミュレーションのように、完全な共分散行列が推定不能な場合でも、統計的妥当性を保てるか？

主な発見

• 帰無仮説下でのカイ二乗の期待値は⟨χ²(ā)⟩ = Nx − NA + O(1/N) である。ここでNxはデータ点数、NAはフィットパラメータ数である。
• 逆共分散行列が入手不可であっても、自由度Nx − NAのカイ二乗分布を用いてp値を信頼性高く推定できる。
• 重み行列がデータ構造と整合している限り、共分散なしの適合（W² = diag(1/Cii)）やSVD正則化付き適合に対しても本手法は有効である。
• データベクトルと共分散行列を適切に拡張することで、運動的不確実性やガウス的事前分布の取り扱いが可能になる。
• トゥイモデルにおける数値的テストにより、導出されたp値推定の頑健性と正確性が確認された。
• 本手法はオープンソースコード（https://mbruno46.github.io/chiexp）として実装されており、格子QCDや他の相関のあるデータを扱う分野での実用的応用が可能である。