[論文レビュー] Constrained Bayesian Inference through Posterior Projections

Sayan Patra, David B. Dunson|arXiv (Cornell University)|Dec 14, 2018

Statistical Methods and Inference参考文献 36被引用数 11

ひとこと要約

本稿では、後方確率分布の射影を用いた制約付きベイズ推論の一般枠組みを提案する。非制約付き事後分布からのサンプルを、最小距離写像を用いて制約付きパラメータ空間へ射影することで、制約付きの事後分布を得る。この方法は、特定の条件下で射影された事後分布が有効なベイズ的事後分布であることを保証し、漸近的頻度的性質を保持する。これにより、無限次元関数空間を含む複雑な制約付きモデルにおいても、取り扱い可能な推論が可能になる。

ABSTRACT

In a broad variety of settings, prior information takes the form of parameter restrictions. Bayesian approaches are appealing in parameter constrained problems in allowing a probabilistic characterization of uncertainty in finite samples, while providing a computational machinery for incorporation of complex constraints in hierarchical models. However, the usual Bayesian strategy of directly placing a prior measure on the constrained space, and then conducting posterior computation with Markov chain Monte Carlo algorithms is often intractable. An alternative is to initially conduct computation for an unconstrained or less constrained posterior, and then project draws from this initial posterior to the constrained space through a minimal distance mapping. This approach has been successful in monotone function estimation but has not been considered in broader settings. In this article, we develop a general theory to justify posterior projections in general spaces including for infinite-dimensional functional parameters. For tractability, we initially focus on the case in which the constrained parameter space corresponds to a closed, convex subset of the original space. A special class of non-convex sets called Stiefel manifolds is explored later in the paper. We provide a general formulation of the projected posterior and show that it corresponds to a valid posterior distribution on the constrained space for particular classes of priors and likelihood functions. We also show how asymptotic properties of the unconstrained posterior are transferred to the projected posterior. Posterior projections are then illustrated through multiple examples, both in simulation studies and real data applications.

研究の動機と目的

• 制約付きパラメータ空間における直接的なベイズ計算の非可解性、特に高次元または無限次元の設定においての問題に取り組む。
• 単調関数推定を超える応用を想定した、後方確率分布の射影の一般理論的基盤を構築する。
• 特定のクラスの事前分布と尤度関数の下で、射影された事後分布が有効なベイズ的事後分布であることを示す。
• 射影された事後分布の漸近的頻度的性質を確立し、一貫性と効率性を保証する。
• 非凸集合、例えばスタイーベル多様体への枠組みの拡張を行い、応用範囲を広げる。

提案手法

• 通常L2射影を用いる最小距離写像を用いて、非制約付き事後分布からのサンプルを制約付きパラメータ空間に射影する。
• 射影写像による非制約付き事後分布のプッシュフォワードとして、射影された事後分布を定義する。
• 制約集合が閉かつ凸である場合に、射影された事後分布が制約付き空間上の有効な事後分布に対応する条件を確立する。
• 関数解析的道具を用いて、関数空間などの無限次元パラメータ空間への枠組みの拡張を実施する。
• 射影された事後分布の漸近的挙動を分析し、非制約付き事後分布から一貫性および集中性の性質を継承することを示す。
• シミュレーションスタディおよび実データへの応用を通じて、実用的妥当性と頑健性を示す。

実験結果

リサーチクエスチョン

• RQ1 どのような条件下で、後方確率分布の射影が制約付きパラメータ空間上で有効なベイズ的事後分布を生成するか？
• RQ2 非制約付き事後分布の漸近的性質が、射影された事後分布にどのように伝わるか？
• RQ3 後方確率分布の射影枠組みは、スタイーベル多様体のような非凸制約集合へ拡張可能か？
• RQ4 制約付きベイズ推論において最小距離射影を用いる理論的根拠は何か？
• RQ5 有限標本において、射影された事後分布は直接的な制約付き計算と比較してどのように性能を示すか？

主な発見

• 制約集合が閉かつ凸であり、事前分布と尤度関数にややきつい正則性条件が満たされれば、射影された事後分布は有効なベイズ的事後分布である。
• 正則性条件下で、この方法は非制約付き事後分布の漸近的集中性および一貫性の性質を保持する。
• この枠組みは無限次元関数空間へ拡張可能であり、ノンパラメトリックモデルにおける制約付き推論を可能にする。
• スタイーベル多様体においても、射影された事後分布は望ましい頻度的性質を維持し、応用範囲の広さを示している。
• シミュレーションおよび実データスタディにより、この手法の実用性と頑健性が、複雑で高次元な設定において確認された。
• 直接的な制約付き空間上の事後分布計算の非可解性を回避し、スケーラブルな代替手法を提供する。