[論文レビュー] Black-Box Alpha Divergence Minimization

José Miguel Hernández-Lobato, Yingzhen Li+4 more|arXiv (Cornell University)|Nov 10, 2015

Gaussian Processes and Bayesian Inference参考文献 25被引用数 41

ひとこと要約

本稿では、確率的勾配降下法を用いてα-発散を最小化するスケーラブルな近似推論手法Black-Box Alpha (BB-α) を提案する。自動微分とモンテカルロ近似を活用することで、複雑なモデルへのブラックボックス適用が可能となり、ニューラルネットワークおよび回帰タスクにおいて、標準的ベイズ推論（α→0）や期待値化プロパイゲーション（α=1）を上回る性能を示す。特にα=0.5のとき顕著な向上が得られる。

ABSTRACT

Black-box alpha (BB-$\\alpha$) is a new approximate inference method based on the minimization of $\\alpha$-divergences. BB-$\\alpha$ scales to large datasets because it can be implemented using stochastic gradient descent. BB-$\\alpha$ can be applied to complex probabilistic models with little effort since it only requires as input the likelihood function and its gradients. These gradients can be easily obtained using automatic differentiation. By changing the divergence parameter $\\alpha$, the method is able to interpolate between variational Bayes (VB) ($\\alpha \ ightarrow 0$) and an algorithm similar to expectation propagation (EP) ($\\alpha = 1$). Experiments on probit regression and neural network regression and classification problems show that BB-$\\alpha$ with non-standard settings of $\\alpha$, such as $\\alpha = 0.5$, usually produces better predictions than with $\\alpha \ ightarrow 0$ (VB) or $\\alpha = 1$ (EP).

研究の動機と目的

• 従来のEPにおけるメモリと収束の問題を回避するスケーラブルでブラックボックスな推論手法の開発。
• 解析的エネルギー関数が得られない大規模・複雑な確率的モデルに対しても、パワーEP（α-発散の最小化による）の適用を可能にする。
• 変分ベイズ（α→0）とEP（α=1）の間を滑らかに補間する統一的フレームワークを提供し、予測性能を向上させる。
• 微分可能エネルギー関数と確率的勾配降下法を用いて収束性とスケーラビリティを保証する。
• 非標準的なα値（例：α=0.5）がα=0やα=1よりも優れた予測をもたらすことを実験的に検証する。

提案手法

• BB-αは、パワーEPから導出されたパラメトリックエネルギー関数を用いて、取り扱い可能な近似分布qと真の事後分布p(θ|D)の間のα-発散を最小化する。
• α-発散目的関数における扱いにくい期待値をモンテカルロ近似により推定することで、ブラックボックスな使用が可能になる。
• 目的関数の勾配は自動微分により計算され、確率的勾配降下法を用いたエンドツーエンド最適化が可能になる。
• 標準的EPとは異なり、要因ごとの保存を避けることで、メモリ効率の良いアルゴリズム設計がなされている。
• 任意のα ∈ (0,1)をサポートしており、α→0では変分ベイズ、α=1ではEPに類似した挙動が得られる。
• エネルギー関数は解析的に取り扱いやすく、微分可能であるため、収束保証と効率的な最適化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 エネルギー関数が扱いにくい複雑なモデルに対しても、α-発散の最小化をスケーラブルかつブラックボックスで実現できるか？
• RQ2 BB-αは、標準的変分ベイズ（α→0）や期待値化プロパイゲーション（α=1）よりも予測精度で優れているか？
• RQ3 さまざまなモデルやデータセットにおいて、αの選択が予測性能に与える影響は何か？
• RQ4 目的関数のモンテカルロ近似における勾配のバイアスと分散のトレードオフはいかなるものか？
• RQ5 二重ループ手順を用いずに、BB-αを確率的勾配降下法で効率的に最適化できるか？

主な発見

• α=0.5のBB-αは、プロビット回帰およびニューラルネットワークタスクにおいて、常に変分ベイズ（α→0）やEP（α=1）を上回る予測性能を示す。
• ボストン住宅データセットにおける平均テストRMSEは、α=1.0やα=10⁻⁶と比較して、α=0.5のとき顕著に低かった。
• BB-αにおける勾配バイアスは、モンテカルロサンプル数Kが増加するにつれて急速に減少し、K=10でほぼゼロに近づく。
• 勾配推定の標準偏差は依然として高水準（約12–14）を示すが、バイアスより数個のオーダーも大きいことから、実用的にはバイアスは無視できる。
• K=10のとき、α=0.5のバイアスはたった0.0013、α=1.0では0.0077にとどまり、勾配推定におけるαの選択への感度は非常に低いことが示された。
• BB-αは、小規模および大規模なデータセットの両方で最先端の予測性能を達成しており、スケーラビリティと頑健性を示している。