[論文レビュー] Being an informed Bayesian: Assessing prior informativeness and prior likelihood conflict

Matthew Reimherr, Xiao‐Li Meng+1 more|arXiv (Cornell University)|Jun 23, 2014

Statistical Methods and Inference被引用数 11

ひとこと要約

本稿は、ベイズ解析における事前分布の情報量の評価および事前分布と尤度関数の不一致（prior-likelihood conflict）の検出を目的として、同じ事後分散を達成するために必要な、与えられた事前分布とベースライン事前分布との間の有効サンプルサイズの差（M(k)）を定量化することにより、診断手法を導入する。この手法により、不一致が存在する場合、M(k)はデータサイズが増加するにつれて減少することが明らかになった。また、真の値と一致する場合に事前分布が追加の有効データサイズを獲得する「超情報的（super-informative）」現象が特定された。

ABSTRACT

Dramatically expanded routine adoption of the Bayesian approach has substantially increased the need to assess both the confirmatory and contradictory information in our prior distribution with regard to the information provided by our likelihood function. We propose a diagnostic approach that starts with the familiar posterior matching method. For a given likelihood model, we identify the difference in information needed to form two likelihood functions that, when combined respectively with a given prior and a baseline prior, will lead to the same posterior uncertainty. In cases with independent, identically distributed samples, sample size is the natural measure of information, and this difference can be viewed as the prior data size $M(k)$, with regard to a likelihood function based on $k$ observations. When there is no detectable prior-likelihood conflict relative to the baseline, $M(k)$ is roughly constant over $k$, a constant that captures the confirmatory information. Otherwise $M(k)$ tends to decrease with $k$ because the contradictory prior detracts information from the likelihood function. In the case of extreme contradiction, $M(k)/k$ will approach its lower bound $-1$, representing a complete cancelation of prior and likelihood information due to conflict. We also report an intriguing super-informative phenomenon where the prior effectively gains an extra $(1+r)^{-1}$ percent of prior data size relative to its nominal size when the prior mean coincides with the truth, where $r$ is the percentage of the nominal prior data size relative to the total data size underlying the posterior. We demonstrate our method via several examples, including an application exploring the effect of immunoglobulin levels on lupus nephritis. We also provide a theoretical foundation of our method for virtually all likelihood-prior pairs that possess asymptotic conjugacy.

研究の動機と目的

• 日常的なベイズ的応用における事前分布の情報量の体系的評価の増大するニーズに対応すること。
• 事後分布の信頼性を損なう可能性がある、事前分布と尤度関数の間の不一致を検出すること。
• 事後分散の観点から、事前分布と尤度関数の不一致を補うために必要な追加データ量を定量化すること。
• 事前分布がその名目上のサイズよりも逆に情報量が多くなる条件を探索すること。
• 漸近的共役性を示す多くの尤度-事前分布ペアに適用可能な理論的基盤を提供すること。

提案手法

• 同じ尤度下で与えられた事前分布とベースライン事前分布の事後分散を等しくするための事後一致（posterior matching）を用いる。
• M(k) を、同じ事後分散を達成するために必要な、与えられた事前分布とベースライン事前分布との間の有効サンプルサイズの差として定義する。
• 独立同一分布のデータの観点から、サンプルサイズとしての情報量を扱い、M(k) を観測されたサンプルサイズ k の関数として扱う。
• k の変化に伴う M(k) の挙動を分析：M(k) が一定である場合、事前分布は尤度情報を確認する（confirmatory）；M(k) が減少する場合、事前分布と尤度関数の不一致（prior-likelihood conflict）を示す。
• M(k)/k が -1 に近づく理論的条件を導出する。これは、不一致に起因する情報の完全な相殺（完全なキャンセル）を示している。
• 事前分布の平均が真の値と一致する場合、事前分布が (1+r)⁻¹ パーセントの有効データサイズの増加を獲得する「超情報的」現象を同定する。ここで r は、名目上の事前分布サイズと総データサイズの比である。

実験結果

リサーチクエスチョン

• RQ1 尤度とは相対的に、事前分布が確認的（confirmatory）または矛盾的（contradictory）な情報を提供しているかどうかを形式的に評価する方法は何か？
• RQ2 同じ事後不確実性を達成するために必要な、与えられた事前分布とベースライン事前分布との間の有効サンプルサイズの差 M(k) は何か？
• RQ3 観測されたサンプルサイズ k が増加するにつれて M(k) はどのように変化するのか？この挙動は、事前分布と尤度関数の適合性に何を明らかにするか？
• RQ4 どのような条件下で、事前分布の平均が正しい場合でも、その名目上のサイズよりも情報量が多くなるように見えるのか？
• RQ5 どのような理論的条件下で、この手法が広範な尤度-事前分布ペアのクラスに有効に適用可能になるか？

主な発見

• 事前分布と尤度関数の間に不一致が存在しない場合、M(k) は k の変化にかかわらずほぼ一定を保ち、これは事前分布が尤度の情報を確認していることを示している。
• 不一致が存在する場合、M(k) は k が増加するにつれて減少し、事前分布との不整合により尤度情報の寄与度が低下していることを反映している。
• 極端な不一致の状況では、M(k)/k は -1 に近づき、事前分布と尤度情報の完全な相殺（キャンセル）を示している。
• 事前分布の平均が真のパrameter値と一致する場合、(1+r)⁻¹ パーセントの有効データサイズの増加を伴う「超情報的」現象が観察された。
• この手法は、漸近的共役性を示すほぼすべての尤度-事前分布ペアに対して理論的に裏付けられており、広範な適用可能性を有している。
• 本手法は、免疫グロブリンレベルとラウススネフリスに関する実世界の応用事例でも検証され、生物医学研究分野における実用的有用性が示された。