[論文レビュー] Alpha-Beta Divergence For Variational Inference

Jean-Baptiste Regli, Ricardo Silva|arXiv (Cornell University)|May 2, 2018

Gaussian Processes and Bayesian Inference参考文献 17被引用数 20

ひとこと要約

本稿では、KL、Rényi、およびガンマ発散を一般化する統一的な変分推論目的関数として、スケール不変なアルファ・ベータ（sAB）発散を導入する。モンテカルロ法を用いてsAB発散を直接最適化することで、質量カバー、モード探索、外れ値に対するロバスト性の間で滑らかなトレードオフを実現でき、汚染されたデータを含む回帰タスクにおいて優れた性能を示す。

ABSTRACT

This paper introduces a variational approximation framework using direct optimization of what is known as the {\it scale invariant Alpha-Beta divergence} (sAB divergence). This new objective encompasses most variational objectives that use the Kullback-Leibler, the R{é}nyi or the gamma divergences. It also gives access to objective functions never exploited before in the context of variational inference. This is achieved via two easy to interpret control parameters, which allow for a smooth interpolation over the divergence space while trading-off properties such as mass-covering of a target distribution and robustness to outliers in the data. Furthermore, the sAB variational objective can be optimized directly by repurposing existing methods for Monte Carlo computation of complex variational objectives, leading to estimates of the divergence instead of variational lower bounds. We show the advantages of this objective on Bayesian models for regression problems.

研究の動機と目的

• KL、Rényi、およびガンマ発散といった既存の変分推論目的関数を、アルファ・ベータ発散を用いて統一的なフレームワークで統合すること。
• エビデンス下界（ELBO）に依存せずにsAB発散を直接最適化することにより、より正確で解釈可能な発散推定が可能になるようにすること。
• 質量カバーと外れ値に対するロバスト性の間で滑らかに補間可能な、柔軟な変分推論フレームワークを提供すること。
• データ汚染および外れ値の条件下でのベイジアン回帰モデルにおけるsAB目的関数の実用的利点を示すこと。

提案手法

• 標準的なAB発散の拡張として、変分および真の結合分布上の期待値を用いて定義されるスケール不変なアルファ・ベータ（sAB）発散を提案する。
• sAB発散の閉形式表現を導出し、特に退化したパrameter値（例：α=0, β=0）の特殊ケースを含むことで、数値安定性を確保する。
• ELBOの最大化を回避するため、sAB発散の直接推定と最適化を可能にするモンテカルロ推定戦略を開発する。
• 標準的なディープラーニング最適化パイプラインと互換性のある、完全に因子分解されたガウス的変分族を後方分布近似に用いる。
• ADAMを用いた確率的勾配降下法とモンテカルロサンプリングを組み合わせ、ベイジアンニューラルネットワークの学習および最適化中にsAB発散を推定する。
• αおよびβハイパーパrameterのグリッドサーチを用い、ネストドクロスバリデーションにより最適な設定を選択する。

実験結果

リサーチクエスチョン

• RQ1 sAB発散は、KL、Rényi、およびガンマ発散といった既存の変分推論目的関数を、単一のフレームワーク内で統一的かつ一般化できるか？
• RQ2 ELBOベースのVIと比較して、sAB発散の直接最適化が外れ値の存在下でもより優れた後方分布近似を実現できるか？
• RQ3 αおよびβパラメータは、変分推論における質量カバーとモード探索の間のトレードオフをどのように制御するか？
• RQ4 sAB目的関数は、ベイジアン回帰タスクにおけるデータ汚染に対して、どの程度のロバスト性を向上させるか？
• RQ5 sABフレームワークは、既存のディープラーニングライブラリおよびモンテカルロサンプリング技術を用いて、効率的に実装可能か？

主な発見

• sAB発散は、KL、Rényi、およびガンマ発散を特別なケースとして一般化し、変分推論のための統一的目的関数を提供する。
• sAB発散の直接最適化により、ELBO最大化に内在するバイアスを回避し、真の発散をより正確に推定できる。
• 5%の外れ値を含む合成回帰データにおいて、α=1.5、β=0.5のsAB目的関数は、標準的なVI（ELBO）および他の発散ベース手法よりも低いテスト誤差を達成した。
• 本手法はデータ汚染に対してロバストであることが示された：α>1かつβ<1の設定では、汚染されたデータポイントへの感受性が低減した。
• 人工的に汚染された出力を含むUCIベンチマークデータセットにおいて、調整されたαおよびβパラメータを用いたsABフレームワークは、予測精度および不確実性のキャリブレーションにおいてベースライン手法を上回った。
• このフレームワークはスケーラブルであり、標準的なディープラーニングツールと互換性があり、ADAMとモンテカルロサンプリングを用いたベイジアンニューラルネットワークのエンドツーエンド学習を可能にした。