[論文レビュー] Posterior Projection for Inference in Constrained Spaces

Astfalck, Lachlan, Deborshee Sen+3 more|arXiv (Cornell University)|Dec 14, 2018

Statistical Methods and Inference参考文献 39被引用数 6

ひとこと要約

本稿は、最小距離写像を用いて非制約的事後分布からのサンプルを制約付きパrameter空間に射影することにより、制約付き推論の包括的ベイズ枠組みを導入する。理論的妥当性は、射影事後分布に対する Bernstein-von Mises 定理によって確立され、実証的にこの手法が正確な信用区間をもたらし、特に凸集合および Stiefel 多様体の制約において、従来の制約付き事前分布よりも優れた性能を示すことが示された。

ABSTRACT

Estimation of parameters that obey specific constraints is crucial in statistics and machine learning; for example, when parameters are required to satisfy boundedness, monotonicity, or linear inequalities. Traditional approaches impose these constraints via constraint-specific transformations or by truncating the posterior distribution. Such methods often result in computational challenges, limited flexibility, and a lack of generality. We propose a generalized framework for constrained Bayesian inference by projecting the unconstrained posterior distribution into the space of the parameter constraints, providing a computationally efficient and easily implementable solution for a large class of problems. We rigorously establish the theoretical foundations of the projected posterior distribution, as well as providing asymptotic results for posterior consistency, posterior contraction, and optimal coverage properties. Our methodology is validated through both theoretical arguments and practical applications, including bounded-monotonic regression and emulation of a computer model with directional outputs.

研究の動機と目的

• 複雑な制約付きパrameter空間（例えば、凸集合や Stiefel 多様体）に直接事前分布を定義する際の計算的・モデリング上の課題に対処すること。
• 複雑な事前分布の構築を必要とせず、理論的根拠に基づいた一般化可能な制約付き空間におけるベイズ推論のための一般的な手法を提供すること。
• 射影事後分布が非制約的事後分布の漸近的頻度的性質（正確な信用区間のカバレッジを含む）を保つことを示すこと。
• バイアスを低減し、実世界の応用における計算可能性を向上させる、制約付き事前分布の実用的代替手段を提供すること。
• 特定のケースに限らない後方射影の適用範囲を、Stiefel 多様体のような測度ゼロの多様体を含む広範な制約クラスへと拡張すること。

提案手法

• 最小距離写像を用いて、非制約的事後分布からのサンプルを制約付き集合に射影するベイズ的意思決定手続きとして、事後分布の射影を形式化する。
• 正則性条件の下で、射影事後分布に対する Bernstein-von Mises 定理を確立し、漸近的正規性と頻度的妥当性を示す。
• 閉じた凸部分集合および Stiefel 多様体（直交行列または単位球面を表す）の両方の制約に射影フレームワークを適用する。
• 凸集合にはユークリッド射影、Stiefel 多様体には測地線射影を用い、理論的整合性と計算の実行可能性を保証する。
• 標準的な MCMC ソフトウェア（例：Stan, PyMC3）を用いて非制約的事後分布からサンプリングし、サンプリングアルゴリズムを変更せずに制約付き空間にサンプルを射影する。
• 実データ例（単調回帰、連関表、球面パラメータ空間など）を用いて手法を実証し、ギブス・サンプリングや制約付き事前分布との性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 事後分布の射影は、制約付きパラメータ空間への直接的な事前分布の指定の理論的妥当で計算可能な代替手段となり得るか？
• RQ2 射影事後分布は、非制約的事後分布の漸近的頻度的性質（正確な信用区間カバレッジを含む）を保つのか？
• RQ3 制約付き事前分布を用いた標準的なベイズ手法と比較して、事後分布の射影はバイアスおよび推定精度の観点でどのように性能を発揮するか？
• RQ4 射影フレームワークは、非凸的かつ低次元の多様体（例：Stiefel 多様体）へと拡張可能か？
• RQ5 特に事前分布が広がりがかったり、尾が重たい場合に、事前分布の選択が射影事後分布の性能に与える影響は何か？

主な発見

• 射影事後分布は漸近的に正しい信用区間を達成し、カバレッジ確率が名目水準と一致する（例：連関表における90%信用区間の平均カバレッジは90.3%）。
• 単調性制約下での回帰係数推定において、射影事後分布は単調関数に直接事前分布を割り当てる従来のベイズ手法よりもバイアスを低減し、優れた性能を示す。
• Stiefel 多様体において、非制約的事前分布を用いた射影事後分布は、vMF 制約付き事前分布を用いたものと同等の信用区間および平均二乗誤差を達成する。これは、広がりがかったり t 分布事前分布を用いても同様に成立する。
• 連関表の例では、ギブス・サンプリングの90%信用区間の平均カバレッジは81.3%であったが、射影事後分布では90.3%に達し、頻度的性能が優れていることが示された。
• 理論的結果により、射影の下でも事後分布の収縮速度および漸近的正規性が保たれ、手法の統計的整合性が裏付けられた。
• 本手法は計算的に実用的であり、標準的な MCMC ソフトウェアと互換性があるため、制約を含む複雑な階層モデルにおける日常的利用が可能である。