[論文レビュー] WHAI: Weibull Hybrid Autoencoding Inference for Deep Topic Modeling

Hao Zhang, Bo Chen+2 more|arXiv (Cornell University)|Mar 4, 2018

Generative Adversarial Networks and Image Synthesis参考文献 32被引用数 51

ひとこと要約

WHAIは確率的勾配法に基づくMCMCとワイブル分布を用いた変分エンコーダを組み合わせ、DLDAベースのデコーダを備えた深層トピックモデルに対するスケーラブルで高速なアウトオブサンプル推論を実現します。

ABSTRACT

To train an inference network jointly with a deep generative topic model, making it both scalable to big corpora and fast in out-of-sample prediction, we develop Weibull hybrid autoencoding inference (WHAI) for deep latent Dirichlet allocation, which infers posterior samples via a hybrid of stochastic-gradient MCMC and autoencoding variational Bayes. The generative network of WHAI has a hierarchy of gamma distributions, while the inference network of WHAI is a Weibull upward-downward variational autoencoder, which integrates a deterministic-upward deep neural network, and a stochastic-downward deep generative model based on a hierarchy of Weibull distributions. The Weibull distribution can be used to well approximate a gamma distribution with an analytic Kullback-Leibler divergence, and has a simple reparameterization via the uniform noise, which help efficiently compute the gradients of the evidence lower bound with respect to the parameters of the inference network. The effectiveness and efficiency of WHAI are illustrated with experiments on big corpora.

研究の動機と目的

• 深層多層トピックモデルの大規模コーパスにも適用可能なスケーラブル推論を動機づける。
• スパースで非負の潜在ドキュメント表現を効率的に近似する推論ネットワークを開発する。
• グローバルおよびローカルパラメータを推論するための確率的勾配法MCMCと自己符号化変分ベイズのハイブリッドを統合する。
• ガンマ事後分布を解析的KLと単純なリパラメータ化で近似するワイブルベースのエンコーダを活用する。
• 大規模なテキストデータセットでの競合する推論戦略に対して、性能と速度の改善を示す。

提案手法

• 階層的ドキュメント表現を捉える生成デコーダとしてDLDA（深層ポソン/ガンマ トピックモデル）を用いる。
• 上向き-下向き推論ネットワーク（WUDVE）を設計し、下向きの確率的生成モデルを上向きニューラルネットワークが供給する。
• エンコーダでガンマ条件をワイブル分布で近似し、解析的KL項とリパラメータ化可能なサンプリングを可能にする。
• グローバルパラメータをTLASGR-MCMCで、ローカルパラメータをワイブルエンコーダで更新するハイブリッド推論アルゴリズムを採用し、高速かつ正確な後方推定を実現する。
• 影響を分離するために、GHAIおよびWAIを含む変種を比較する。

実験結果

リサーチクエスチョン

• RQ1 WH A Iが既存の深層トピックモデルや変分オートエンコーダよりもアウトオブサンプル予測と perplexity を改善するか？
• RQ2 ハイブリッドMCMC/VAEフレームワークは、GibbsサンプリングおよびTLASGR-MCMCと比較して大規模コーパスでの訓練と評価の際にスケーラビリティと速度の面でどう評価されるか？
• RQ3 推論ネットワークにおけるワイブル（ガンマ）使用が後方近似と訓練効率に与える影響は？
• RQ4 WH AIの上向き-下向き情報伝播は、従来のVAEや独立/不完全なトップダウン接続と比べて実質的な利点を提供するか？
• RQ5 DHLA（WHAI）変種（確率的下向きパスあり/なし）は性能にどのような影響を与えるか？

主な発見

Model	Size	Perplexity (20News)	Perplexity (RCV1)	Perplexity (Wiki)	Test Time (20News)	Test Time (RCV1)	Test Time (Wiki)
DLDA-Gibbs	128-64-32	571	938	966	10.46	23.38	23.69
DLDA-Gibbs	128-64	573	942	968	8.73	18.50	19.79
DLDA-Gibbs	128	584	951	981	4.69	12.57	13.31
DLDA-TLASGR	128-64-32	579	950	978	10.46	23.38	23.69
DLDA-TLASGR	128-64	581	955	979	8.73	18.50	19.79
DLDA-TLASGR	128	590	963	993	4.69	12.57	13.31
DPFA	128-64-32	637	1041	1056	20.12	34.21	35.41
AVITM	128	654	1062	1088	0.23	0.68	0.80
DLDA-GHAI-Independent	128-64-32	613	970	999	0.62	1.22	1.47
DLDA-GHAI-Independent	128-64	614	970	1000	0.41	0.94	1.01
DLDA-GHAI-Independent	128	615	972	1003	0.22	0.69	0.80
DLDA-GHAI	128-64-32	604	963	994	0.66	1.25	1.49
DLDA-GHAI	128-64	608	965	997	0.44	0.96	1.05
DLDA-GHAI	128	615	972	1003	0.22	0.69	0.80
DLDA-WHAI-Independent	128-64-32	588	964	990	0.58	1.15	1.38
DLDA-WHAI-Independent	128-64	589	965	992	0.38	0.87	0.97
DLDA-WHAI-Independent	128	592	966	996	0.20	0.66	0.78
DLDA-WAI	128-64-32	581	954	984	0.63	1.20	1.43
DLDA-WAI	128-64	583	958	986	0.42	0.91	1.02
DLDA-WAI	128	593	967	999	0.20	0.66	0.78
DLDA-WHAI	128-64-32	581	953	980	0.63	1.20	1.43
DLDA-WHAI	128-64	582	957	982	0.42	0.91	1.02
DLDA-WHAI	128	591	965	996	0.20	0.66	0.78

• WHAIは最先端のDLDAベース手法と比較して、困惑度とテスト時効率の点で有利な結果を示す。
• ワイブルベースのエンコーダはガンマ後方分布を解析的KLと容易にリパラメータ化可能なサンプリングで近似し、効率的な勾配計算を可能にする。
• ハイブリッドMCMC/VAEアプローチはGibbsサンプリングと同等以上の性能を発揮しつつ、ビッグコーパス向けのミニバッチ訓練をスケーラブルに提供する。
• 実験ではWH A Iとその派生は非トップダウンの対応よりも優れており、確率的下向き情報フローの利点を強調する。
• より深いアーキテクチャを持つDLDA-WHAIは、浅い構成よりも性能が向上することを示し、階層的トピック学習の有効性を示す。
• AVITMおよびDPFAと比較して、深い生成DLDAデコーダを使用するモデルは一貫して held-out perplexity が改善され、アウトオブサンプル推論の速度を維持する。