[論文レビュー] Stochastic gradient variational Bayes for gamma approximating distributions

David A. Knowles|arXiv (Cornell University)|Sep 4, 2015

Statistical Methods and Inference参考文献 23被引用数 39

ひとこと要約

本稿は、再パラメータ化勾配を用いた確率的勾配変分ベイズ（SGVB）をガンマ分布に従う潜在変数に拡張し、スパarsityおよび非負制約を要するモデルにおける効率的でスケーラブルなベイズ推論を可能にする。スパース要因分析やガンマ過程モデルにおいて、ガウス近似やサンプリング手法に比べ優れた性能を示し、特にサンプル数が少ない状況で顕著である。

ABSTRACT

While stochastic variational inference is relatively well known for scaling inference in Bayesian probabilistic models, related methods also offer ways to circumnavigate the approximation of analytically intractable expectations. The key challenge in either setting is controlling the variance of gradient estimates: recent work has shown that for continuous latent variables, particularly multivariate Gaussians, this can be achieved by using the gradient of the log posterior. In this paper we apply the same idea to gamma distributed latent variables given gamma variational distributions, enabling straightforward "black box" variational inference in models where sparsity and non-negativity are appropriate. We demonstrate the method on a recently proposed gamma process model for network data, as well as a novel sparse factor analysis. We outperform generic sampling algorithms and the approach of using Gaussian variational distributions on transformed variables.

研究の動機と目的

• ガウス分布に限らない潜在変数にまでSGVBを拡張し、スパarsityおよび非負制約を要するモデルにおける効率的推論を可能にすること。
• 非ガウス連続潜在変数におけるモンテカルロ変分推論における高分散勾配推定の課題に取り組むこと。
• 共役指数型分布族の事前分布と尤度関数が用いられるモデルにおいて、ガンマ変分近似の有効性を示すこと。
• 変数をガウス空間に変換するのではなく、ガンマ事後分布を直接モデル化することで推論性能が向上することを示すこと。
• ロジット関数の勾配のみを用いて、ガンマ過程要因分析やネットワークモデルなどの複雑なモデルにおいてもスケーラブルでブラックボックス型の推論を可能にすること。

提案手法

• ガンマ分布の位置-スケール族の性質を活用して再パラメータ化トリックを導出し、SGVBフレームワークをガンマ分布に従う潜在変数に適応すること。
• 低分散の確率的勾配更新を可能にするために、ロジット関数の勾配を主な推定器として用いること。
• 観測データをガンマ変分事後分布のパラメータにマップする認識モデルを採用し、エンドツーエンドの学習を可能にすること。
• 再パラメータ化トリックを用いてELBOとその勾配を導出し、確率的ノードを介したバックプロパゲーションを可能にすること。
• 2つのモデルに本手法を適用：ネットワークデータ向けの無限エッジ分割モデルと、新規に提案されたガンマ過程要因分析（GPFA）モデル。
• 適応的最適化（Adadelta）と効率的なベクトル化演算を用いて大規模データセットへのスケーリングを実現し、GPFAでは実行時間のN依存性を排除した。

実験結果

リサーチクエスチョン

• RQ1 非共役かつ非ガウス的な性質を持つガンマ分布に従う潜在変数に対して、SGVBフレームワークを成功裏に拡張できるか？
• RQ2 変数をガウス空間に変換するのではなく、ガンマ変分事後分布を直接用いることで、推論の正確性とスケーラビリティがガウス近似を上回るか？
• RQ3 非共役尤度関数を伴うモデルに対しても、本手法は有効な事後分布近似を達成できるか？
• RQ4 少量のデータ（small N）における状況下で、ガンマSGVB法はMCMCサンプリングや他の変分推論手法に比べて性能に優れるか？
• RQ5 実世界の高次元データ（例：CyTOFデータ）に、スパarsityおよび非負制約がある場合に、本手法は効果的に適用可能か？

主な発見

• 合成データにおいて、GPFAはSPCAやNSFAを上回り、因子負荷の再構成において顕著に低いアマリ誤差を示し、明示的なガンマモデル化の利点を実証した。
• N = 5.3×10⁵個の細胞とD = 40種類のタンパク質を含むCyTOFデータにおいて、GPFAはテストデータで12.8のパーリューティーを達成し、N < 2000の範囲で実測共分散行列やLedoit-Wolfeの正則化を上回った。
• Nが小さい場合、GPFAは実測共分散行列よりも優れた尤度推定を達成し、パーリューティーが-10¹²（数値的不安定性を示唆）であったのに対し、GPFAは低データ環境下でも安定していた。
• GPFAの実行時間は標準ラップトップで約10秒であり、Nに依存しなかった。一方、SPCAの実行時間はNに線形に依存していたため、スケーリングにおいてGPFAがより効率的であった。
• GPFAによる推定共分散行列は、非対角成分を効果的に正則化し、生物学的構造を捉えており、解釈可能な非負の因子負荷を示した。
• 本手法により、ロジット関数の勾配以外のモデル固有の導出を除き、ブラックボックスでスケーラブルな推論が可能となり、ガンマ分布に基づく多様なモデルに応用可能となった。