[論文レビュー] Matching Bayesian and frequentist coverage probabilities when using an approximate data covariance matrix

Will J. Percival, Oliver Friedrich+2 more|arXiv (Cornell University)|Aug 23, 2021

Climate variability and models参考文献 27被引用数 78

ひとこと要約

本稿では、データの共分散行列をシミュレーションから推定する場合に、事後分布からの信頼区間が頻度主義の被覆確率と一致するように保証するベイズ的事前分布を提案する。事後共分散を頻度主義的パラメータ推定の標本分布に一致させることで、この手法はベイズ的区間を信頼区間として解釈可能にし、有限のシミュレーション標本からのバイアスを、ハートラップ補正のような恣意的要因に依存せずに是正する。

ABSTRACT

Observational astrophysics consists of making inferences about the Universe by comparing data and models. The credible intervals placed on model parameters are often as important as the maximum a posteriori probability values, as the intervals indicate concordance or discordance between models and with measurements from other data. Intermediate statistics (e.g. the power spectrum) are usually measured and inferences made by fitting models to these rather than the raw data, assuming that the likelihood for these statistics has multivariate Gaussian form. The covariance matrix used to calculate the likelihood is often estimated from simulations, such that it is itself a random variable. This is a standard problem in Bayesian statistics, which requires a prior to be placed on the true model parameters and covariance matrix, influencing the joint posterior distribution. As an alternative to the commonly-used Independence-Jeffreys prior, we introduce a prior that leads to a posterior that has approximately frequentist matching coverage. This is achieved by matching the covariance of the posterior to that of the distribution of true values of the parameters around the maximum likelihood values in repeated trials, under certain assumptions. Using this prior, credible intervals derived from a Bayesian analysis can be interpreted approximately as confidence intervals, containing the truth a certain proportion of the time for repeated trials. Linking frequentist and Bayesian approaches that have previously appeared in the astronomical literature, this offers a consistent and conservative approach for credible intervals quoted on model parameters for problems where the covariance matrix is itself an estimate.

研究の動機と目的

• データ共分散行列が有限の数のシミュレーションから推定される場合に生じるベイズ的信頼区間と頻度主義的信頼区間の不一致を是正すること。
• 繰り返し試行において、ベイズ的信頼区間が近似的に正しい頻度主義的被覆確率を持つように保証する事前分布の開発。
• 共分散行列が確率的変数である宇宙論的・天体物理学的パrameter推定における不確実性評価に対して、一貫性があり保守的なアプローチを提供すること。
• 標本共分散行列を用いることで生じるパrameter誤差推定のバイアスを是正すること。ハートラップ補正のような恣意的要因に依存しないこと。

提案手法

• 繰り返しサンプリング下での最尤推定値の頻度主義的標本分布と事後共分散が一致するように、真の共分散行列に対する事前分布を導出する。
• パラメータ共分散レベルでの一致を達成するために、真の共分散行列の行列式にべき乗法的事前分布 |Σ|^{-(n_s + n_d + 1)/2} を用いる。
• この事前分布が多変量t分布の事後分布をもたらすことを示し、ガウス近似よりも尾部の挙動をより適切に捉える。
• 事後分布にハートラップ要因を含めることはベイズ的立場から見て誤りであり、二重のバイアス補正をもたらすことを示す。
• パrameter数がデータ次元と等しい場合（n_θ = n_d）、事後共分散が標本共分散行列 S に簡略化され、期待値が真の共分散 Σ に一致することを確立する。
• 理論的導出とモンテカルロシミュレーションを通じて、被覆確率が名目水準と一致することを検証する。

実験結果

リサーチクエスチョン

• RQ1 データ共分散行列がシミュレーションから推定される場合に、信頼区間が頻度主義的被覆確率と近似的に一致するようなベイズ的事前分布を構築できるか？
• RQ2 パラメータ推定の頻度主義的標本分布と一致するように、共分散行列に対する正しい事前分布の形は何か？
• RQ3 標準的なハートラップ補正要因はなぜベイズ的事後分布において不適切なのか？共分散推定バイアスを是正する正しい方法は何か？
• RQ4 ジェフリーの事前分布などの標準的事前分布と比較して、提案された事前分布は被覆性および解釈可能性においてどのように異なるか？

主な発見

• 提案された事前分布 |Σ|^{-(n_s + n_d + 1)/2} は、繰り返しサンプリング下で、事後共分散がパラメータ推定の頻度主義的標本共分散と一致することを保証する。
• n_θ = n_d の場合、事後共分散は標本共分散行列 S に簡略化され、期待値が Σ に一致するため、事後分布におけるハートラップ要因の必要性がなくなる。
• 事後分布にハートラップ要因を含めると、逆共分散と事後共分散の両方に補正が施され、過剰補正となり、誤った誤差推定をもたらす。
• 得られる事後分布は多変量t分布であり、ガウス近似よりも重い尾部をより適切に捉えるため、データの緊張（tension）に対してよりロバストである。
• この手法により、有限のシミュレーション標本でも、ベイズ的信頼区間を頻度主義的信頼区間として解釈可能にし、近似的に正しい被覆性を持つ。
• このアプローチは、宇宙論的・天体物理学的パラメータ推定における恣意的補正の代替として、一貫性があり保守的で理論的に裏付けられた代替手段を提供する。