[論文レビュー] Bayesian Learning with Wasserstein Barycenters

Julio Backhoff‐Veraguas, Joaquín Fontbona+2 more|arXiv (Cornell University)|May 28, 2018

Markov Chains and Monte Carlo Methods被引用数 4

ひとこと要約

本稿では、事後分布の母集団重心を計算するために Wasserstein 距離を用いる、新しいモデル選択戦略であるベイジアン Wasserstein バリオセントラ（BWB）を導入する。この手法は最適輸送理論を活用し、ベイジアンモデル平均（BMA）よりも分散が小さい予測事後分布を生成する。理論的および実験的分析により、Wasserstein 空間内でのバッチ版確率的勾配降下法を用いて計算された場合、収束が速く、分散が小さいことが示されている。

ABSTRACT

We introduce and study a novel model-selection strategy for Bayesian learning, based on optimal transport, along with its associated predictive posterior law: the Wasserstein population barycenter of the posterior law over models. We first show how this estimator, termed Bayesian Wasserstein barycenter (BWB), arises naturally in a general, parameter-free Bayesian model-selection framework, when the considered Bayesian risk is the Wasserstein distance. Examples are given, illustrating how the BWB extends some classic parametric and non-parametric selection strategies. Furthermore, we also provide explicit conditions granting the existence and statistical consistency of the BWB, and discuss some of its general and specific properties, providing insights into its advantages compared to usual choices, such as the model average estimator. Finally, we illustrate how this estimator can be computed using the stochastic gradient descent (SGD) algorithm in Wasserstein space introduced in a companion paper arXiv:2201.04232v2 [math.OC], and provide a numerical example for experimental validation of the proposed method.

研究の動機と目的

• 最適輸送理論に基づく新しいベイジアンモデル選択基準の開発。
• モデルの事後分布の母集団重心としてのベイジアン Wasserstein バリオセントラ（BWB）の定義と分析。
• 正則性条件下でのBWBの存在、一意性、統計的一貫性などの理論的性質の確立。
• 分散と収束特性の観点から、BMA や MAP といった古典的推定量と比較すること。
• Wasserstein 空間内でのバッチ版確率的勾配降下法を用いた、BWB を計算する計算効率の良い手法の提案と検証。

提案手法

• BWB は、p- Wasserstein リスク関数の最小化者として定義される：$\hat{m}_p^n = \arg\min_{m \in \mathcal{M}} \int_{\mathcal{P}(\mathcal{X})} W_p(m, \bar{m})^p \, \Pi_n(d\bar{m})$、ここで $\Pi_n$ はモデル上の事後分布である。
• 本手法は、モデル上の事後分布を確率分布の空間上での測度とみなしその Wasserstein バリオセントラを最適輸送を用いて計算する。
• 理論的分析により、BWB の存在および一貫性の条件が確立され、特に真のモデル $m_0$ からの i.i.d. サンプリング下での事後一貫性が示された。
• 計算の効率化のため、Wasserstein 空間内での確率的勾配降下法（SGDW）が用いられ、バッチ処理により分散を低減する。
• アルゴリズムはステップサイズ $\gamma_t = 1/t$ を用い、Wasserstein 空間内での反復的射影によりバリオセントラ推定値を更新する。
• 数値的検証では、さまざまなサンプルサイズおよびバッチサイズにおいて、BWB と真のモデル $m_0$ 間の $W_2^2$ 距離を用いて、BWB と経験的バリオセントラ、BMA を比較した。

実験結果

リサーチクエスチョン

• RQ1 観測数が増加するにつれて、ベイジアン Wasserstein バリオセントラ（BWB）は存在し、一貫性を保つのか？
• RQ2 分散と収束速度の観点から、BWB はベイジアンモデル平均（BMA）と比べてどのように異なるか？
• RQ3 Wasserstein 空間内での確率的勾配降下法を用いて、BWB を効率的に計算できるか？
• RQ4 BWB を計算するためのバッチ版-SGDW 法は、経験的バリオセントラ推定量よりも分散が小さいか？
• RQ5 BWB がどの条件下で $W_2$ 距離において真のデータ生成モデル $m_0$ に収束するか？

主な発見

• 表4における標準偏差の比較により、BWB 推定量はベイジアンモデル平均（BMA）よりも分散が小さいことが確認された。
• バッチサイズ $s \geq 5$ の場合、反復あたりのサンプル数が少ないにもかかわらず、確率的勾配降下法により得られたBWB推定値は、経験的推定値よりも分散が小さくなった。
• サンプルサイズ $n$ が増加するにつれて、真のモデル $m_0$ との平均 $W_2^2$ 距離は減少し、$n=500$、バッチサイズ $s=5$ 時に 0.0039 まで低下した。
• バッチ-SGDW 法は、特に大きなバッチサイズの場合、収束が早く、真のモデルの周囲に集中する傾向が強く、図7で確認された。
• MCMC を用いて構築した経験的事後分布は、$W_2$ 距離において一貫性を示し、BWB の計算に使用可能であることが裏付けられた。
• サンプル数 $n \to \infty$ のとき、BWB 推定量は $W_2$ 距離において真のモデル $m_0$ に収束することが示され、i.i.d. サンプリング下での事後一貫性が確認された。