[論文レビュー] Kernel Implicit Variational Inference

Jiaxin Shi, Shengyang Sun+1 more|arXiv (Cornell University)|May 29, 2017

Gaussian Processes and Bayesian Inference参考文献 36被引用数 7

ひとこと要約

KIVIは、密度比推定にカーネルを用いることで、密度が明示的に計算できない変分後退分布の安定的かつ計算可能なかつての訓練を可能にする、新しい暗黙的変分ベイズ推論手法である。KIVIは、よりタイトな境界と過学習の低減を可能にすることで、MNISTおよびCelebAにおけるBNNやVAEといった高次元モデルにおいて、最先端の性能を達成した。

ABSTRACT

Recent progress in variational inference has paid much attention to the flexibility of variational posteriors. One promising direction is to use implicit distributions, i.e., distributions without tractable densities as the variational posterior. However, existing methods on implicit posteriors still face challenges of noisy estimation and computational infeasibility when applied to models with high-dimensional latent variables. In this paper, we present a new approach named Kernel Implicit Variational Inference that addresses these challenges. As far as we know, for the first time implicit variational inference is successfully applied to Bayesian neural networks, which shows promising results on both regression and classification tasks.

研究の動機と目的

• ベイズニューラルネットワーク（BNNs）などの高次元モデルに適用された際の、従来の暗黙的変分ベイズ推論（IVI）手法の不安定さと計算不能性を解消すること。
• 生成的判別器に基づく推定に依存しない、偏りと分散のトレードオフを体系的に制御する手法の開発。
• 非可逆変換を用いた柔軟な変分後退分布の構築を可能にし、因子分解型やノーマライジングフローに基づくアプローチをはるかに超える表現力の向上を実現すること。
• グローバル（BNNs）およびローカル（VAEs）な潜在変数モデルにおける暗黙的ベイズ推論の実現可能性と有効性を示すこと。特に、過学習の低減と尤度推定の向上に寄与すること。

提案手法

• KIVIは、生成的判別器に基づく密度比推定を、密度比 $ \frac{q_\phi(\mathbf{z})}{p(\mathbf{z})} $ のカーネル推定に置き換え、より安定的かつ解析的に根拠のある近似を実現する。
• 変分後退分布 $ q_\phi(\mathbf{z}) $ と事前分布 $ p(\mathbf{z}) $ 間のKLダイバージェンスのカーネル推定を用い、密度の明示的評価を回避する。
• 再生核ヒルベルト空間（RKHS）フレームワークを用いて、関数最適化問題として変分目的関数を定式化し、明示的な密度が不要な勾配ベース最適化を可能にする。
• 偏りと分散の制御に用いるハイパーパrameter $ \lambda $ と数値安定性のためのクリッピング値という2つのハイパーパrameterを導入し、両者とも明確な解釈可能性を持つ。
• KIVIはグローバルおよびローカルな潜在変数モデルと両立可能であり、高次元の潜在空間を持つBNNやVAEへの応用を可能にする。
• 別個の判別器ネットワークの学習を回避することで、GANベースの暗黙的VIに共通する計算コストの増加とハイパーパrameterへの感受性を低減する。

実験結果

リサーチクエスチョン

• RQ1 ベイズニューラルネットワークのような高次元モデルに、安定的かつスケーラブルな暗黙的変分ベイズ推論を適用可能か。
• RQ2 特に偏りと分散の制御という観点から、生成的判別器ベースの手法に代わる、カーネルベースの密度比推定がより信頼性の高い代替手段となるか。
• RQ3 非可逆変換を用いて構築された暗黙的後退分布は、標準的な平均場型やノーマライジングフロー型の後退分布に比べ、一般化性能および尤度推定性能で優れるか。
• RQ4 VAEにおける標準VAEと比較して、暗黙的ベイズ推論はどの程度過学習を低減するか。
• RQ5 CelebAのような大規模データセットにおいて、KIVIはアドバーシャル変分ベイズ（AVB）と比較して、訓練の安定性、サンプル品質、FIDスコアの観点で優れているか。

主な発見

• KIVIは、初めてBNNにおける暗黙的変分ベイズ推論を実現し、回帰および分類タスクの両方で優れた性能を達成した。
• バイナリ化MNISTデータセットでは、KIVIは訓練とテストの下界の一般化ギャップを低減し、標準VAEの-97.3に対し、テスト尤度を-94.8まで向上させた。
• CelebAでは、25エポック後においてFIDスコア41を達成し、同じアーキテクチャと訓練設定でAVBのFID160を顕著に上回った。
• CelebAにおける補間実験では、KIVIはAVBに比べ滑らかでシャープな画像遷移を生成し、より分離性が高く構造的な潜在空間を示した。
• AVBとは異なり、KIVIは判別器のハイパーパラメータチューニングを一切必要としなかった。AVBは判別器にログ事前分布の追加と細心の設計が不可欠であった。
• KIVIは、従来のGANベースの暗黙的VI手法が抱える主要な制限である高次元潜在変数への計算不能性を克服し、実用的な計算可能性を示した。