[論文レビュー] f-Divergence Variational Inference

Neng Wan, Dapeng Li+1 more|arXiv (Cornell University)|Jan 1, 2020

Domain Adaptation and Few-Shot Learning被引用数 2

ひとこと要約

本稿では、f-分散変分推論（f-VI）を提案する。これは、代替f-分散を最小化することで、すべてのf-分散に一般化された変分推論の統合フレームワークである。周辺尤度推定のための一般化f-変分バウンドを導入し、再パラメータタイズ、重要度抽出、モンテカルロ近似を組み合わせた確率的および平均場最適化スキームを構築することで、変分オートエンコーダーやベイジアンニューラルネットワークなどのモデルに広く適用可能である。

ABSTRACT

This paper introduces the $f$-divergence variational inference ($f$-VI) that generalizes variational inference to all $f$-divergences. Initiated from minimizing a crafty surrogate $f$-divergence that shares the statistical consistency with the $f$-divergence, the $f$-VI framework not only unifies a number of existing VI methods, e.g. Kullback-Leibler VI, Renyi's $\alpha$-VI, and $\chi$-VI, but offers a standardized toolkit for VI subject to arbitrary divergences from $f$-divergence family. A general $f$-variational bound is derived and provides a sandwich estimate of marginal likelihood (or evidence). The development of the $f$-VI unfolds with a stochastic optimization scheme that utilizes the reparameterization trick, importance weighting and Monte Carlo approximation; a mean-field approximation scheme that generalizes the well-known coordinate ascent variational inference (CAVI) is also proposed for $f$-VI. Empirical examples, including variational autoencoders and Bayesian neural networks, are provided to demonstrate the effectiveness and the wide applicability of $f$-VI.

研究の動機と目的

• f-分散に基づく一貫したフレームワークとして、既存の変分推論手法を統合すること。
• 従来の変分推論の制限、特にKL分散に限定される点を是正すること。
• 任意のf-分散に対して適用可能な標準化されたツールキットを提供すること。
• 周辺尤度の両側推定を可能にする一般化f-変分バウンドを導出すること。
• VAE やベイジアンニューラルネットワークなどの複雑なモデルにおける実用的応用を可能にするスケーラブルな最適化スキームを開発すること。

提案手法

• 最適化において元のf-分散と統計的整合性を保つ代替f-分散を提案する。
• 周辺尤度の上界と下界を両方提供する一般化f-変分バウンドを導出する。これにより、はさみうち推定が可能になる。
• 再パラメータタイズ、重要度抽出、モンテカルロ近似を組み合わせた確率的最適化スキームを採用し、効率的な勾配推定を実現する。
• 座標上昇変分推論（CAVI）を任意のf-分散に一般化した平均場近似スキームを導入する。
• アンモトライズド推論と構造的変分族の両方を用いて、確率的モデルに適用する。
• f-分散族を変分近似のパrameter化に用いることで、事後分布推定における柔軟な分散制御を可能にする。

実験結果

リサーチクエスチョン

• RQ1 変分推論は、KL分散に限定されず、すべてのf-分散に一般化可能か？
• RQ2 最適化を可能にしつつ統計的性質を保持する代替f-分散をどのように構築できるか？
• RQ3 周辺尤度の上界と下界の両方を提供する一般化f-変分バウンドの形は何か？
• RQ4 確率的および平均場最適化スキームを任意のf-分散に適応する方法は何か？
• RQ5 f-変分推論は、変分オートエンコーダーやベイジアンニューラルネットワークなどのモデルにおいて、性能をどの程度向上させるか？

主な発見

• f-変分バウンドは周辺尤度のはさみうち推定を提供し、両側の境界を提供することで尤度の近似を改善する。
• 代替f-分散は元のf-分散と統計的整合性を保ち、変分推論フレームワーク内での信頼性の高い最適化を可能にする。
• 再パラメータタイズ、重要度抽出、モンテカルロ近似に基づく確率的最適化スキームにより、深層生成モデルにおけるスケーラブルな学習が実現される。
• 平均場近似スキームはCAVIを任意のf-分散に一般化し、因子化された変分族における反復的最適化を可能にする。
• 変分オートエンコーダーおよびベイジアンニューラルネットワークにおける実験結果から、f-VIの有効性と多様なモデルアーキテクチャへの広範な適用可能性が示された。
• 本フレームワークは、KL VI、Rényiのα-変分推論、χ²-変分推論といった既存手法を、一貫した理論的枠組みの下に統合した。