[論文レビュー] Penalising model component complexity: A principled, practical approach to constructing priors

Daniel Simpson, Håvard Rue+3 more|arXiv (Cornell University)|Mar 18, 2014

Bayesian Modeling and Causal Inference参考文献 103被引用数 24

ひとこと要約

この論文は、階層ベイズモデルにおけるデフォルトで客観的な事前分布を構築するための体系的で原理的な枠組み、ペナルティ付き複雑性（PC）事前分布を導入する。この手法は、再パラメータ化に対して不変であり、ジェフリーの事前分布と関連し、オッカムの剃刀を支援する。ユーザーが定義するスケーリングパラメータにより複雑性を制御し、高次元および複雑なモデルにおいて理論的・実証的に強い頑健性を示す。

ABSTRACT

In this paper, we introduce a new concept for constructing prior distributions. We exploit the natural nested structure inherent to many model components, which defines the model component to be a flexible extension of a base model. Proper priors are defined to penalise the complexity induced by deviating from the simpler base model and are formulated after the input of a user-defined scaling parameter for that model component, both in the univariate and the multivariate case. These priors are invariant to reparameterisations, have a natural connection to Jeffreys' priors, are designed to support Occam's razor and seem to have excellent robustness properties, all which are highly desirable and allow us to use this approach to define default prior distributions. Through examples and theoretical results, we demonstrate the appropriateness of this approach and how it can be applied in various situations.

研究の動機と目的

• 複雑な階層ベイズモデルにおいて、熟練知識が利用できない場合に、体系的でデフォルトの事前分布が不足している問題に対処すること。
• 複雑性のペナルティを用いて単純なモデルを好むようにする枠組みを構築し、オッカムの剃刀を支援すること。
• 再パラメータ化に対して不変であり、ジェフリーの事前分布と自然に結びつく事前分布を構築し、解釈可能性と頑健性を高めること。
• R-INLAなどのソフトウェアにおけるデフォルト事前分布指定のスケーラブルで実用的な方法を提供し、恣意的または臨機応急な選択に依存しないようにすること。
• モデルの柔軟性に関する弱情報的信念を反映する、単一のユーザー定義スケーリングパラメータを用いた、透明で解釈可能な事前分布の構築を可能にすること。

提案手法

• ネストされたモデルの階層内で最も単純な妥当なモデルをベースモデルとして定義する。
• 発散測度（例：カルバック・ライブラーマン発散）を用いて、モデル部成分とベースモデルとの距離をペナルティ化する事前分布を構築する。
• ベースモデルからの期待偏差を制御するユーザー指定のスケーリングパラメータを用いて、事前分布をパrameterizeする。
• モデルの自然パラメータを用い、情報幾何学を応用することで、再パラメータ化に対して不変となるように事前分布を定式化する。
• 複雑性測度上の指数型分布として事前分布を導出し、適切かつ客観的な指定を保証する。
• 幾何学的およびスペクトル的分解を用いて、相関行列や精度行列を含む多次元設定へと枠組みを拡張する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、解釈可能で頑健なデフォルトで客観的な事前分布を階層モデルに対して構築できるか？
• RQ2 単純なモデルを自然に好むような事前分布の構築を導く原則は何か？オッカムの剃刀を支援する。
• RQ3 再パラメータ化に対して不変であり、かつ原理的で客観的かつ非情報的であるような事前分布を保証する方法は何か？
• RQ4 単一のユーザー定義スケーリングパラメータが、多様なモデル部成分にわたり、複雑性を効果的に制御できるか？
• RQ5 PC事前分布は、疾患マッピングやラティントガウスモデルのような高次元または複雑な設定において、どのように性能を発揮するか？

主な発見

• PC事前分布は再パラメータ化に対して不変であり、モデルのパラメータ化にかかわらず一貫した事前分布指定を保証する。
• 事前分布はジェフリーの事前分布と自然に結びつき、モデルの複雑性をペナルティ化することでオッカムの剃刀を支援する。
• ラティントガウスモデルのような複雑なモデルにおいても、理論的裏付けをもってデフォルト事前分布指定を可能にする。
• 実証的結果から、PC事前分布は、弱情報的スケーリングパラメータを用いても、高次元設定において頑健な後確信分布推定をもたらすことが示された。
• 理論的分析により、PC事前分布は適切な後確信分布を生成し、正規および不規則なモデルの両方で規則的な漸近的挙動を示すことが確認された。
• スパースな高次元モデルでは、スケーリングパラメータを適切に選択すれば、PC事前分布が真のスパarsityレベルに質量を集中させることを示せる。