[論文レビュー] Unbiased Implicit Variational Inference

Michalis K. Titsias, Francisco J. R. Ruiz|arXiv (Cornell University)|Aug 6, 2018

Domain Adaptation and Few-Shot Learning被引用数 25

ひとこと要約

本稿では、深層ニューラルネットワークを用いて構築された隠れ変数のimplicitな変分分布を用いて、Evidence Lower Bound (ELBO) の直接的かつ不偏な最適化を可能にする、Unbiased Implicit Variational Inference (uivi) を提案する。従来の密度比推定や代理境界に依存する手法とは異なり、uiviは潜在変数の再パラメータライズ可能な条件付き分布を用いることで、モンテカルロサンプルを用いた不偏な勾配推定を可能にし、計算コストと同等の水準で、sivi や標準的な VAE よりもタイトな ELBO と優れた予測性能を達成する。

ABSTRACT

We develop unbiased implicit variational inference (UIVI), a method that expands the applicability of variational inference by defining an expressive variational family. UIVI considers an implicit variational distribution obtained in a hierarchical manner using a simple reparameterizable distribution whose variational parameters are defined by arbitrarily flexible deep neural networks. Unlike previous works, UIVI directly optimizes the evidence lower bound (ELBO) rather than an approximation to the ELBO. We demonstrate UIVI on several models, including Bayesian multinomial logistic regression and variational autoencoders, and show that UIVI achieves both tighter ELBO and better predictive performance than existing approaches at a similar computational cost.

研究の動機と目的

• 既存のimplicitな変分推論手法が近似や密度比推定に依存するという限界を克服すること。
• 複雑なimplicitな変分族を有するモデルにおいて、Evidence Lower Bound (ELBO) の直接的最適化を可能にすること。
• 階層的な再パラメータライズーションと効率的なMCMCサンプリングを用いて、ELBO最適化のスケーラブルで不偏な勾配推定器を開発すること。
• ベイジアンロジスティック回帰や変分オートエンコーダー（VAEs）のようなベイジアンモデルにおいて、ELBOのタイトさと予測性能の両方を向上させること。

提案手法

• uivi は、再パラメータライズ可能な条件付き分布 $ q_{\theta}(z|\varepsilon) $ と柔軟なノイズ分布 $ q(\varepsilon) $ を混合することで、半implicitな変分分布を定義する。ここで $ \theta $ は $ \varepsilon $ を $ q_{\theta}(z|\varepsilon) $ のパラメータに写像する深層ニューラルネットワークである。
• ELBOの勾配を $ q_{\theta}(\varepsilon|z) $ における期待値として表現することで、密度比推定を回避し、MCMCサンプリングによる不偏な勾配推定を可能にする。
• 初期状態を定常分布から始めることでバーンインフェーズを回避する高速なマルコフ連鎖モンテカルロ（MCMC）手順を、$ q_{\theta}(\varepsilon|z) $ のサンプリングに用いる。
• ELBOの不偏最適化を確実に実現するため、$ q_{\theta}(z|\varepsilon) $ と $ q_{\theta}(\varepsilon|z) $ からのサンプルを用いて勾配推定器を構築する。
• 反復的な密度比推定を回避し、再パラメータライズーションを活用することで、計算効率を維持する。
• 比較の公平性を確保するため、ベイジアン多項ロジスティック回帰と変分オートエンコーダー（VAEs）に本手法を適用し、共通のアーキテクチャと学習設定を用いる。

実験結果

リサーチクエスチョン

• RQ1 密度比推定に依存せずに、implicitな変分推論におけるELBOの不偏最適化は可能か？
• RQ2 深層ニューラルネットワークを用いた階層的再パラメータライズーションスキームは、より表現力があり柔軟な変分族を提供するとともに、不偏な勾配推定を可能にするか？
• RQ3 不偏勾配による直接的なELBO最適化は、siviで用いられる代理境界と比較して、よりタイトな境界と優れた予測性能をもたらすか？
• RQ4 提案手法は、ELBOとテストログリクアリティの両面で、標準的なVAEs や sivi を上回る性能を維持しながら、計算コストを効率的に保つことができるか？

主な発見

• uivi は MNIST で -94.09、Fashion-MNIST で -110.72 のテストログリクアリティを達成し、sivi（-97.77 と -121.53）および標準的な VAE を顕著に上回った。
• uivi におけるELBO値は、sivi や標準的な VAE よりもタイトであり、真の事後分布のより良い近似であることを示している。
• uivi は sivi と同等の計算コストを維持しており、MNIST では平均 0.14 秒、Fashion-MNIST では 0.13 秒の反復時間であった。一方、sivi はそれぞれ 0.16 秒と 0.17 秒であった。
• MNIST および Fashion-MNIST における定性的な結果から、uivi の再構成は sivi や標準的な VAE よりも高い忠実度を示している。
• ELBO勾配を期待値として表現することで、密度比推定の必要性を回避し、$ q_{\theta}(\varepsilon|z) $ からのMCMCサンプリングによって不偏推定を実現した。
• uivi は、複数のモデルにおいてELBOと予測性能の両面で一貫した改善を示し、複雑なベイジアン推論の文脈における有効性を裏付けた。