[論文レビュー] MMD-Bayes: Robust Bayesian Estimation via Maximum Mean Discrepancy

Badr-Eddine Chérief-Abdellatif, Pierre Alquier|arXiv (Cornell University)|Sep 29, 2019

Statistical Methods and Bayesian Inference被引用数 22

ひとこと要約

本稿では、モデル不適合下でも一貫性とロバスト性を保証するため、尤度を最大平均差異（MMD）に基づく疑似尤度に置き換えることで、ロバストなベイズ推定フレームワークMMD-Bayesを提案する。確率測度を再生核ヒルベルト空間に埋め込み、温度パrameterを用いた事後分布を用いることで、ミニマックス最適収束速度を達成し、汚染されたデータに対してもロバスト性を維持する。また、変分推論により、再帰的勾配を用いた計算が可能となる。

ABSTRACT

In some misspecified settings, the posterior distribution in Bayesian statistics may lead to inconsistent estimates. To fix this issue, it has been suggested to replace the likelihood by a pseudo-likelihood, that is the exponential of a loss function enjoying suitable robustness properties. In this paper, we build a pseudo-likelihood based on the Maximum Mean Discrepancy, defined via an embedding of probability distributions into a reproducing kernel Hilbert space. We show that this MMD-Bayes posterior is consistent and robust to model misspecification. As the posterior obtained in this way might be intractable, we also prove that reasonable variational approximations of this posterior enjoy the same properties. We provide details on a stochastic gradient algorithm to compute these variational approximations. Numerical simulations indeed suggest that our estimator is more robust to misspecification than the ones based on the likelihood.

研究の動機と目的

• 標準的なベイズ事後分布がモデル不適合下で一貫性を失う問題に対処すること。
• 最大平均差異（MMD）尺度を用いて、ベイズ推論における尤度関数の代替としてのロバストな手法を開発すること。
• 真のデータ生成分布がモデルに含まれない場合でも、得られる事後分布が一貫性を保ち、ミニマックス最適収束速度を達成すること。
• 理論的保証を伴う変分近似により、計算が tractable な推論手法を提供すること。
• 数値シミュレーションを通じて、外れ値やデータ汚染に対する実験的ロバスト性を示すこと。

提案手法

• モデル分布と経験測度の間の二乗MMD距離を用いて、温度パrameter β で重み付けされた疑似事後分布を定義する。
• MMD-Bayes事後分布を πβn ∝ exp(−β·D²k(Pθ, ˆPn)) π(dθ) として構築する。ここで Dk は再生核ヒルベルト空間におけるMMDを表す。
• 最も近いモデル分布 θ∗ からのMMD距離に基づくロバストな事前分布質量条件を導入し、事後分布の集中を保証する。
• 不確実なMMD-Bayes事後分布を近似するために、ガウス族を用いた変分推論を用いる。
• 再パラメータライゼーションと対数微分トリックを用いて、再帰的勾配を導出し、投影された確率的勾配アルゴリズム（PSGAVI）を実装して、変分パラメータを最適化する。
• 変分分布からのモンテカルロサンプルを用いて、平均および分散パラメータの両方の再帰的勾配推定器を導出する。

実験結果

リサーチクエスチョン

• RQ1 MMDを分散尺度として用いたベイズ事後分布は、モデル不適合下でも一貫性とロバスト性を達成できるか？
• RQ2 適切に指定されたモデルおよび不適合モデル下で、MMD-Bayes事後分布はミニマックス最適収束速度 n−1/2 に収束するか？
• RQ3 MMD-Bayes事後分布の変分近似は、正確な事後分布と同等の理論的保証を継承できるか？
• RQ4 外れ値が存在する状況下で、MMD-Bayes推定量は古典的推定量（MLE や中央値）と比較してどのように性能を発揮するか？
• RQ5 確率的勾配アルゴリズムは、MMD-Bayes事後分布の変分近似を効率的に計算できるか？

主な発見

• 真の分布がモデルに含まれない場合でも、ロバストな事前分布質量条件の下で、MMD-Bayes事後分布はミニマックス最適収束速度 n−1/2 を達成する。
• 理論的解析により、D²k(Pθ, P0) の事後期待値が 8 infθ D²k(Pθ, P0) + 16/n で有界であることが示され、一貫性とロバスト性が確認された。
• 真の分布 P0 が {Pθ : θ ∈ Θ} に属さない場合でも、確率的に θ∗ まわりに n−1/2 のレートで事後分布が集中する。
• MMD-Bayes事後分布の変分近似は、正確な事後分布と同等の一貫性およびロバスト性を有する。
• 数値シミュレーションにより、MMD-Bayes推定量は、特に一様位置およびガウス平均推定における外れ値の影響を受ける状況で、MSEの観点からMLEおよび中央値推定量を上回ることが示された。
• 20%までの汚染データに対しても、MMD-Bayes法は安定かつ高精度を維持するが、MLEおよびモーメント法推定量は同様の条件下で著しく性能を低下させる。