[論文レビュー] Robust Generalised Bayesian Inference for Intractable Likelihoods

Takuo Matsubara, Jeremias Knoblauch+2 more|arXiv (Cornell University)|Apr 15, 2021

Statistical Methods and Bayesian Inference被引用数 8

ひとこと要約

本稿では、正規化定数が解析的に扱いにくいモデルに対して、核スティーブ・ズレ（KSD）を損失関数として用いる、KSD-Bayesと呼ばれる頑健な一般化ベイズ推論手法を提案する。この手法は、標準的なMCMC法や共役事前分布下での閉形式解を用いることで、事後分布の計算を容易にしつつ、尤度関数が誤って指定された場合であっても一貫性、漸近正規性、バイアスに頑健な性質を保つ。

ABSTRACT

Generalised Bayesian inference updates prior beliefs using a loss function, rather than a likelihood, and can therefore be used to confer robustness against possible mis-specification of the likelihood. Here we consider generalised Bayesian inference with a Stein discrepancy as a loss function, motivated by applications in which the likelihood contains an intractable normalisation constant. In this context, the Stein discrepancy circumvents evaluation of the normalisation constant and produces generalised posteriors that are either closed form or accessible using standard Markov chain Monte Carlo. On a theoretical level, we show consistency, asymptotic normality, and bias-robustness of the generalised posterior, highlighting how these properties are impacted by the choice of Stein discrepancy. Then, we provide numerical experiments on a range of intractable distributions, including applications to kernel-based exponential family models and non-Gaussian graphical models.

研究の動機と目的

• 正規化定数が解析的に扱いにくいモデルにおけるベイズ推論の課題に対処すること。
• 尤度関数への依存を避ける一般化ベイズフレームワークを構築すること。代わりに、スティーブ・ズレに基づく損失関数を用いること。
• モデルの誤指定の性質について事前の知識がなくても、誤差に頑健であることを保証すること。
• 得られる一般化事後分布に対して一貫性、漸近正規性、バイアスに頑健な性質といった理論的保証を提供すること。
• 共役事前分布下では標準的なMCMC法や閉形式解を用いて、実用的な事後分布の計算を可能にすること。

提案手法

• 正規化定数の評価を回避するために、核スティーブ・ズレ（KSD）を損失関数として用い、一般化事後分布を定義する。
• 離散的および連続的領域の両方で、スティーブ作用素を用いてパラメトリックモデル $p_\theta(x) = q(x,\theta)/Z(\theta)$ にKSDを適用する。
• 重み関数 $M(x)$ を用いたカーネルに基づくKSDの構築により、データの汚染に対する感度を制御する。
• 指数型分布族モデル下で共役事前分布構造を導出し、閉形式での一般化事後分布を可能にする。
• 非共役設定ではハミルトニアン・モンテカルロ（HMC）を用いて事後分布を近似する。
• 外れ値の影響を抑えるために、インジケータ重み関数を用いてカーネルを修正した頑健なKSD-Bayesを提案する。

実験結果

リサーチクエスチョン

• RQ1 KSDを損失関数として用いた一般化ベイズ推論は、正規化定数が扱いにくいモデルにおいて、計算可能な一貫性のある事後分布を生成できるか？
• RQ2 離散的モデル（例：イジングモデル）におけるデータ汚染に対して、KSDのカーネルおよび重み関数の選択がどのように頑健性に影響するか？
• RQ3 モデルが誤って指定された場合でも、KSD-Bayesの一般化事後分布が頻度主義的漸近的性質（一貫性、漸近正規性）を保持するか？
• RQ4 尤度が正しく指定されていなくても、KSD-Bayesフレームワークがベルンシュタイン＝フォン・ミーゼス結果を達成できるか？
• RQ5 KSD-Bayesの病理的特性や限界は何か？また、それらはカーネル設計によってどのように緩和できるか？

主な発見

• KSD-Bayesは、閉形式解または標準的なMCMC法を用いることで、二重に扱いにくい事後分布の計算負荷を回避する一般化事後分布を生成する。
• 尤度モデルが誤って指定された場合でさえ、一般化事後分布は一貫性および漸近正規性を示す。
• 一般化事後分布はバイアスに頑健であり、データ汚染下でも精度を維持する。イジングモデルにおける $\epsilon = 0.1$ の汚染条件下でその有効性が実証された。
• 重み関数 $M(x)$ を用いた頑健なKSD-Bayesは、標準的なKSD-Bayesと比較して外れ値の影響に対して著しく感度が低下している。
• モデルの正しさにかかわらず、KSD-Bayesではベルンシュタイン＝フォン・ミーゼス結果が成立し、漸近的な頻度主義的妥当性が保証される。
• 実験結果から、KSD-Bayesおよび頑健なKSD-Bayesの両方が、クリーンなデータおよび汚染済みデータの両方において、真のパラメータ $\theta = 5$ の周辺に事後分布質量が集中することが確認された。