[論文レビュー] The Lindley paradox: The loss of resolution in Bayesian inference

Colin LaMont, Paul A. Wiggins|arXiv (Cornell University)|Oct 29, 2016

Gaussian Processes and Bayesian Inference参考文献 19被引用数 4

ひとこと要約

この論文はベイズ的モデル選択におけるLindleyの逆説を再考し、非情報的事前分布が頻度主義的手法に比べて実験的分解能を低下させることを示している。疑似ベイズ因子を導入し、情報の分割を分析することで、予測的推論が分解能を最適化し、特に小標本または特異的モデルにおいて逆説的結論を回避することを示している。

ABSTRACT

There are three principle paradigms of statistics: Bayesian, frequentist and information-based inference. Although these paradigms are in agreement in some contexts, the Lindley paradox describes a class of problems, models of unknown dimension, where conflicting conclusions are generated by frequentist and Bayesian inference. This conflict can materially affect the scientific conclusions. Understanding the Lindley paradox---where it applies, why it occurs, and how it can be avoided---is therefore essential to the understanding of statistical analysis. In this paper, we revisit the Lindley paradox in the context of a simple biophysical application. We describe how predictive and postdictive measures of model performance provide a natural framework for understanding the Lindley paradox. We then identify methods which result in optimal experimental resolution for discovery.

研究の動機と目的

• 未知の次元を持つモデルにおけるベイズ的推論と頻度主義的推論の間の矛盾を解消すること。
• Lindleyの逆説の根本的原因を特定すること——特に、ベイズ的モデル選択における非情報的事前分布による分解能の損失。
• 予測的および後知的モデル性能評価の指標が、逆説の理解と解消のための整合的な枠組みを提供することを示すこと。
• 疑似ベイズ因子を用いることで、ベイズ的利点を維持しながら逆説を回避し、実験的分解能を最適化することを提唱すること。
• ベイズ情報量基準（BIC）の極限が分解能の損失に対応しており、有限標本サイズでは最適でないことを示すこと。

提案手法

• データと事前分布の間の情報の分割を通じてベイズ的モデル選択を分析し、二つの極限的状態（AIC：大きな事前情報、BIC：小さな事前情報）を特定する。
• 生物物理学的ビーズ変位モデルを代表例として用い、非ゼロ平均変位を検出するためのベイズ的および頻度主義的閾値を比較する。
• ベイズ的検出閾値を導出：|μ̂| > σμ·√(2 log(τ/σμ)) ここで τ は事前分散。頻度主義の閾値 |μ̂| > σμ·2 と比較する。
• 独立な解析において一貫したモデル選択を保証するために、Lindleyの逆説を回避するための疑似ベイズ因子を導入する。
• 予測的推論を適用して実験的分解能を最適化し、BIC や非情報的事前分布に内在する分解能の損失を回避することを示す。
• BIC の極限が一時的定義の単一測定に極めて敏感であることが示され、有限標本設定における頑健性を損なう。

実験結果

リサーチクエスチョン

• RQ1 なぜベイズ的モデル選択において非情報的事前分布を用いると、頻度主義的手法に比べて分解能が低くなるのか？
• RQ2 データと事前分布の間の情報の分割は、ベイズ的および頻度主義的推論の一貫性にどのように影響するか？
• RQ3 BIC の極限がなぜ分解能の損失に対応するのか、そしてそれが実験設計においてなぜ問題となるのか？
• RQ4 疑似ベイズ因子は、ベイズ的および頻度主義的推論の一貫性を回復させつつ、ベイズ的利点を維持できるか？
• RQ5 予測的および後知的モデル性能指標は、実際の応用においてLindleyの逆説をどのように解消するのを助けるか？

主な発見

• Lindleyの逆説は、ベイズ的モデル選択における非情報的事前分布が分解能を損なうことに起因し、頻度主義的手法に比べて同じ効果を検出するための標本サイズがより大きくなる。
• ベイズ的検出閾値は事前分散 τ に依存し、τ → ∞（非情報的事前分布）のとき閾値が発散し、感度が低下する。
• BIC の極限は低分解能かつ事前分布の指定に敏感な状態に対応し、有限標本推論には不適切である。
• 疑似ベイズ因子は、Lindleyの逆説を回避し、ベイズ的整合性を保ちつつ実験的分解能を最適化する一貫した予測的枠組みを提供する。
• AIC の極限は、頑健で大きな事前情報の状態に対応し、頻度主義の分解能と一致し、事前分布の選択にあまり敏感でない。
• 頻度主義的検定における多重比較問題は、パラダイム自体の欠陥ではなく、その適用の欠陥である。事前分布が適切に情報化されていればベイズ的手法はこのような問題を回避できるが、非情報的事前分布を用いることで再び分解能の損失が生じる。