[論文レビュー] On a curious bias arising when the $\sqrt{χ^2/ν}$ scaling prescription is first applied to a sub-sample of the individual results

G. D’Agostini|arXiv (Cornell University)|Jan 17, 2020

Statistical Methods and Inference参考文献 7被引用数 4

ひとこと要約

この論文は、独立した実験結果を組み合わせる過程で、√(χ²/ν)スケーリング規定を逐次的に適用する（まず部分標本に適用し、その後全体標本に適用する）ことによって、以前認識されていなかったバイアスが生じることを特定した。このバイアスは、統計的十分性を満たさないスケーリングに起因し、個々の測定値が一貫しており正規分布であっても、最終的な組み合わせ結果が歪められることを意味する。これは、素粒子物理学および関連分野における標準誤差伝搬の信頼性を損なう。

ABSTRACT

As it is well known, the standard deviation of a weighted average depends only on the individual standard deviations, but not on the dispersion of the values around the mean. This property leads sometimes to the embarrassing situation in which the combined result 'looks' somehow at odds with the individual ones. A practical way to cure the problem is to enlarge the resulting standard deviation by the $\sqrt{χ^2/ν}$ scaling, a prescription employed with arbitrary criteria on when to apply it and which individual results to use in the combination. But the `apparent' discrepancy between the combined result and the individual ones often remains. Moreover this rule does not affect the resulting `best value', even if the pattern of the individual results is highly skewed. In addition to these reasons of dissatisfaction, shared by many practitioners, the method causes another issue, recently noted on the published measurements of the charged kaon mass. It happens in fact that, if the prescription is applied twice, i.e. first to a sub-sample of the individual results and subsequently to the entire sample, then a bias on the result of the overall combination is introduced. The reason is that the prescription does not guaranty statistical sufficiency, whose importance is reminded in this script, written with a didactic spirit, with some historical notes and with a language to which most physicists are accustomed. The conclusion contains general remarks on the effective presentation of the experimental findings and a pertinent puzzle is proposed in the Appendix.

研究の動機と目的

• 独立した実験結果の組み合わせ過程で、√(χ²/ν)スケーリング規定を部分標本に最初に適用し、その後全体標本に適用するという二度の適用によって生じる意図しないバイアスを調査すること。
• √(χ²/ν)手法が統計的十分性を保持しないことの失敗が、組み合わせ結果の妥当性を損なう理由を強調すること。
• 尤度が非正規分布である場合に特に、複雑な尤度情報を単一の最良値と非対称誤差に縮約することを反対すること。
• 不偏な伝搬と将来の組み合わせを保証するため、要約統計量ではなく、完全な尤度関数を報告すべきであると提唱すること。
• √(χ²/ν)スケーリングのような恣意的規定の使用を警告すること。これは、個々の測定値が一貫しており正規分布であっても、結果を歪める可能性がある。

提案手法

• √(χ²/ν)スケーリング規定の数学的構造を分析し、部分標本と全体標本に逐次適用した場合に統計的十分性を保持しないことを示した。
• 教育的で歴史的裏付けのあるアプローチを用い、適切な重み付けと誤差推定がなされていても、この手法が最終的な組み合わせ結果を歪める様子を説明した。
• ベイジアンネットワークモデリングを用いて、実験的結果の完全な確率的構造を表現し、条件付き確率とモデルの不確実性の役割を強調した。
• 確率論を用いて正しい組み合わせルールを導出：個々の尤度関数を乗算して組み合わせ尤度を作成する。これは、恣意的なスケーリングの理論的代替手段である。
• 情報の将来の伝搬と組み合わせを保証するため、点推定と非対称誤差ではなく、完全な尤度関数を報告すべきであると提言した。
• 付録に、独立した正規分布に従う測定値を持つ単純なケースですら、逐次的な√(χ²/ν)スケーリングが誤った結果を生じるという直感に反するバイアスを示すパズルを提示した。

実験結果

リサーチクエスチョン

• RQ1 個々の結果が一貫しており正規分布であっても、√(χ²/ν)スケーリングを最初に部分標本に適用し、その後全体標本に適用した場合、組み合わせ結果はどのように変化するか？
• RQ2 なぜ√(χ²/ν)スケーリング規定は、素粒子物理学や実験科学で広く使われているにもかかわらず、最終的な組み合わせ結果にバイアスを生じるのか？
• RQ3 √(χ²/ν)手法における統計的十分性の欠如が、下流の解析における不確実性伝搬の信頼性にどのように影響するか？
• RQ4 尤度が非正規分布である、またはχ²が放物線でない場合に、独立した実験結果を正しい理論的方法で組み合わせるにはどうすればよいか？
• RQ5 誤差伝搬の文脈において、最良値と非対称誤差を報告するのではなく、完全な尤度関数を報告する利点は何か？

主な発見

• 部分標本に、その後全体標本に√(χ²/ν)スケーリング規定を二度適用すると、個々の測定値が一貫しており正規分布であっても、最終的な組み合わせ結果に系統的バイアスが生じる。
• √(χ²/ν)手法は統計的十分性を満たさないため、元のデータから得られるすべての情報を保持していない。その結果、推論が歪められる。
• 個々の結果のパターンが著しく非対称であってもバイアスは持続し、最良推定値に影響を与えないため、標準的なχ²検定では検出できない。
• 点推定と非対称誤差ではなく、完全な尤度関数を報告することで、非正規尤度の場合を含め、不偏な伝搬と将来の組み合わせが保証される。
• 特に負の探索や非放物線的χ²プロファイルにおいては、尤度比や負の対数尤度を、恣意的誤差スケーリングの代替手段として推奨する。
• 論文が付録に提示するパズルは、独立した正規分布に従う測定値を持つ単純なケースですら、逐次的な√(χ²/ν)スケーリングが誤った結果を生じることを示しており、標準的手法に対する注意喚起を強調している。