[論文レビュー] Asymptotics of cut distributions and robust modular inference using Posterior Bootstrap

Emilia Pompe, Kasprzak, Mikołaj J.+1 more|ArXiv.org|Oct 21, 2021

Statistical Methods and Bayesian Inference参考文献 49被引用数 6

ひとこと要約

本稿は、モジュラーBayes推論におけるカット分布の漸近的理論を展開し、標準的な信用区間が正しい頻度的被覆を欠いていることを示している。本稿では、並列化可能な数値最適化を用いて名目的な頻度的被覆を達成する信用区間を生成することで、この問題を解決するPosterior Bootstrapに基づくアルゴリズムを提案する。

ABSTRACT

Bayesian inference provides a framework to combine various model components with shared parameters, allowing joint uncertainty estimation and the use of all available data sources. Unfortunately, misspecification of any part of the model might propagate to all other parts and can lead to unsatisfactory results. Cut distributions have been proposed as a remedy, where the information is prevented from flowing along certain directions. We study cut distributions from an asymptotic perspective and obtain a Bernstein-von Mises theorem, as well as a Laplace approximation with quantitative bounds. We then propose an algorithm based on the Posterior Bootstrap that delivers credible regions with the nominal frequentist asymptotic coverage. The proposed methods are illustrated with numerical experiments in a variety of examples, including causal inference with propensity scores.

研究の動機と目的

• モジュラーBayesモデルにおけるカット分布から導かれる信用区間の頻度的被覆の欠如に対処すること。
• 誤ったモジュールからの情報の流れを信頼できるモジュールに伝播させない、堅牢でモジュラーな推論フレームワークを提供すること。
• 正しい漸近的頻度的被覆を持つ信用区間を構築する計算効率の良い手法を開発すること。
• 高次元または複雑なモジュラーモデルにおけるスケーラブルな推論を、並列化可能な数値最適化により実現すること。
• モデルの不適合が一般的な因果推論、疫学、PK/PDモデリングにおいて、本手法の有効性を示すこと。

提案手法

• Laplace近似を用いてカット事後分布の漸近的展開を導出し、標準的な信用区間におけるバイアスを同定する。
• カット分布における被覆歪みを是正するため、後方サンプルを再重み付けするPosterior Bootstrapアルゴリズムを提案する。
• 数値最適化を用いて事後ブートストラップ重みを計算し、モジュール間で完全に並列化可能な計算を可能にする。
• モデル不適合下で第二のモジュールの予測分布を推定し、フィードバックバイアスを是正する。
• 漸近的状態において、Posterior Bootstrapが真のカット事後分布と理論的に同等であることを確立する。
• Kullback-Leibler発散の展開を用いて、Bayes推論のモジュラー手法とPosterior Bootstrapの予測性能を比較する。

Figure 1 : Density contours, corresponding to the 95% mass region, for samples obtained using PBMI (Algorithm 1 and Algorithm 2 ) and Bayesian modular inference for model ( 18 ). We considered three settings, depending on the choice of $\rho$ and $\sigma^{2}$ in the data-generating mechanism. Each p

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的なカット分布は、モジュラーBayes推論において正しい頻度的被覆を達成できないのか？
• RQ2 Posterior Bootstrapに基づく手法は、カット分布の信用区間における被覆不足を是正できるか？
• RQ3 予測精度の観点から、Posterior Bootstrapは標準的なBayes推論のモジュラー手法と比べてどのように性能を発揮するか？
• RQ4 モデル不適合下でPosterior Bootstrapの漸近的挙動はいかなるものか？
• RQ5 大規模なモジュラーモデルにおいて、本手法は並列処理で効率的に実装可能か？

主な発見

• 標準的なカット分布は、Laplace近似におけるバイアスのため、頻度的被覆が正しくない信用区間を生成する。
• Posterior Bootstrap手法は、事後分散構造の是正により、漸近的に正しい頻度的被覆を持つ信用区間を生成する。
• 本手法は、各モジュールごとに独立した最適化問題を解くことにより、完全な並列化を可能にする。
• 分散 $\sigma^2 = 1$ の不適合正規モデルにおいて、Posterior BootstrapはKL発散のトレース項を -0.25 から -0.21 に低減し、予測性能を向上させる。
• 分散 $\sigma^2 = 2$ の場合、Posterior Bootstrapはトレース値 -0.36 を達成し、標準的なBayes的手法を上回る予測精度を示す。
• 理論的展開により、Posterior Bootstrapが真のカット事後分布の漸近的挙動を $o(n^{-1})$ 項まで一致することが示された。

Figure 2 : Boxplots of elpd values obtained for model ( 19 ). Each plot is based on 50 datasets generated with $\sigma_{1}^{2}=1$ , $\sigma_{2}^{2}=0.5$ , $n_{2}$ presented on the $x$ -axis and $n_{1}=n_{2}/10$ . We use $N=2000$ samples drawn using each method.