[論文レビュー] Neural Variational Inference and Learning in Belief Networks

Andriy Mnih, Karol Gregor|arXiv (Cornell University)|Jan 31, 2014

Domain Adaptation and Few-Shot Learning参考文献 27被引用数 204

ひとこと要約

この論文では、変分後期分布からの高速かつ正確なサンプリングを可能にするフィードフォワード推論ネットワークを用いて、有向信念ネットワークを訓練するニューラル変分推論と学習（NVIL）を紹介する。分散低減による勾配推定を用いた変分下界を共同で最適化することで、MNISTおよびReuters RCV1で最先端の性能を達成し、ウェイクスリープアルゴリズムや先行手法を上回る。

ABSTRACT

Highly expressive directed latent variable models, such as sigmoid belief networks, are difficult to train on large datasets because exact inference in them is intractable and none of the approximate inference methods that have been applied to them scale well. We propose a fast non-iterative approximate inference method that uses a feedforward network to implement efficient exact sampling from the variational posterior. The model and this inference network are trained jointly by maximizing a variational lower bound on the log-likelihood. Although the naive estimator of the inference model gradient is too high-variance to be useful, we make it practical by applying several straightforward model-independent variance reduction techniques. Applying our approach to training sigmoid belief networks and deep autoregressive networks, we show that it outperforms the wake-sleep algorithm on MNIST and achieves state-of-the-art results on the Reuters RCV1 document dataset.

研究の動機と目的

• 正確な推論が不可能な大規模データセット上で、シグモイド信念ネットワークのような高表現力のある有向潜在変数モデルを訓練する課題に対処すること。
• スケーリングが悪いか、モデル固有の導出を必要とする既存の近似推論手法の限界を克服すること。
• 離散および連続の潜在変数をサポートする一般化可能でスケーラブルかつメモリ効率の良い、有向グラフィカルモデルの訓練手順を開発すること。
• 実用的な勾配推定を用いた変分下界を通じて、生成モデルと推論ネットワークの共同訓練を可能にすること。
• MNISTやReuters RCV1のようなベンチマークデータセットにおいて、本手法の有効性を実証し、最先端の結果を達成すること。

提案手法

• 観測値に対して変分後期分布からの高速かつ正確なサンプリングを実現するため、推論ネットワークとしてフィードフォワードニューラルネットワークを提案する。
• 確率的勾配推定を用いて、尤度の変分下界を最大化することで、モデルと推論ネットワークを共同で訓練する。
• ベースライン差引きや制御変数などの一般化された分散低減技術を適用し、推論ネットワークの勾配推定器の分散が高いため実用的でない問題を解消する。
• REINFORCEアルゴリズムフレームワークを用いて、確率的サンプリングプロセスを逆伝播可能にし、エンドツーエンドの訓練を可能にする。
• 先行手法が制限された仮定を置いていたのとは異なり、離散および連続の潜在変数と複雑な後期分布の構造をサポートする。
• 潜在変数状態を訓練例間で保存する必要がないため、オンライン学習が可能になり、メモリ効率が向上する。

実験結果

リサーチクエスチョン

• RQ1 反復的でないフィードフォワード推論ネットワークを用いることで、有向信念ネットワークの効率的かつスケーラブルな訓練が可能になるか？
• RQ2 分散低減による勾配推定により、ナードなREINFORCE勾配推定器が推論ネットワークの訓練に実用的になるか？
• RQ3 提案手法は、シグモイド信念ネットワークの訓練において、ウェイクスリープなどの既存アルゴリズムを上回るか？
• RQ4 NVILは、複雑で高次元のデータを扱う大規模ドキュメントモデリングタスクで最先端の性能を達成できるか？
• RQ5 本手法は、モデル固有の導出を必要とせず、離散および連続の潜在変数と複雑な後期構造を扱えるほど汎用的か？

主な発見

• MNISTではウェイクスリープアルゴリズムを上回り、200-200-200 SBNアーキテクチャでテスト負の対数尤度が94.5を達成した。
• Reuters RCV1データセットでは、200個の潜在変数を有するfDARNモデルが、パープレキシティ598を達成し、新たな最先端記録を樹立した。
• RCV1で50個の潜在変数を有するfDARNモデルはパープレキシティ724を達成し、DocNADEの最良公表結果742を上回った。
• 20 Newsgroupsでも競争力ある結果を達成し、fDARN（50個の潜在変数）でパープレキシティ917を達成し、LDAやReplicated Softmaxを上回った。
• スケーラブルでメモリ効率が良く、潜在状態の保存が不要なため、オンライン学習が可能である。
• 先行の変分手法が制限された仮定を置いていたのとは異なり、本手法はモデルアーキテクチャに一般化可能で、離散および連続の潜在変数をサポートする。