[論文レビュー] Autoencoding Variational Inference For Topic Models

Akash Srivastava, Charles Sutton|arXiv (Cornell University)|Mar 4, 2017

Topic Modeling被引用数 144

ひとこと要約

この論文は、ニューラル推論ネットワークを用いて事後分布を近似し、Dirichlet priors および成分崩壊に対処する潜在ディリクレ配分（LDA）に対する効果的な自動符号化変分ベイズ法 AVITM を提案する。さらに ProdLDA は、トピックの整合性を改善した専門家の積に基づくトピックモデルである。

ABSTRACT

Topic models are one of the most popular methods for learning representations of text, but a major challenge is that any change to the topic model requires mathematically deriving a new inference algorithm. A promising approach to address this problem is autoencoding variational Bayes (AEVB), but it has proven diffi- cult to apply to topic models in practice. We present what is to our knowledge the first effective AEVB based inference method for latent Dirichlet allocation (LDA), which we call Autoencoded Variational Inference For Topic Model (AVITM). This model tackles the problems caused for AEVB by the Dirichlet prior and by component collapsing. We find that AVITM matches traditional methods in accuracy with much better inference time. Indeed, because of the inference network, we find that it is unnecessary to pay the computational cost of running variational optimization on test data. Because AVITM is black box, it is readily applied to new topic models. As a dramatic illustration of this, we present a new topic model called ProdLDA, that replaces the mixture model in LDA with a product of experts. By changing only one line of code from LDA, we find that ProdLDA yields much more interpretable topics, even if LDA is trained via collapsed Gibbs sampling.

研究の動機と目的

• モデル特異的な更新を手動で導出することなく、ブラックボックスで高速な推論をトピックモデルに対して動機づけ、実現する。
• LDA のための AEVB における Dirichlet priors と成分崩壊の課題を克服する。
• 推論ネットワークが従来の推論品質に匹敵しつつ、テスト時の性能を大幅に向上させられることを実証する。
• ProdLDA、LDA よりトピックの整合性が改善された専門家の積に基づくトピックモデルを紹介する。

提案手法

• AVITM を開発する: 推論ネットワークを用いて q(θ,z|γ,φ) をパラメータ化し、再パラメータ化トリックによって ELBO を最適化する。
• softmax 基底でディリクレ prior のラプラス近似を用い、θ に対してガウス様の再パラメータ化を可能にする。
• LDA における z を束ね表現で和をとって、サンプリングを θ のみに簡略化する。
• 高モーメントの Adam 最適化、バッチ正規化、ドロップアウト、KL 項のアニーリングによって成分崩壊に対処する。
• ProdLDA を訓練する際、混合語モデルを専門家の積に置換する、すなわち p(w_n|θ,β) ∝ ∏_k p(w_n|z_n=k,β)^{θ_k} にする。
• 文書を直接トピック割合へ写像するニューラル推論ネットワークを用いることで、訓練時と推論時の効率性向上を提供する。

実験結果

リサーチクエスチョン

• RQ1 Dirichlet priors と成分崩壊に対処することで、AVIB 手法を LDA に効果的に適用できるか？
• RQ2 推論ネットワークは、テスト時の最適化なしに新しい文書の迅速で正確な事後推定を可能にするか？
• RQ3 ProdLDA は標準の LDA と比較してトピックの整合性を改善するか、どのような訓練条件下でそうなるか？
• RQ4 トピック品質と速度の観点から、AVITM はオンライン平均場推論および崩れた Gibbs サンプリングとどのように比較されるか？
• RQ5 AVITM は黒箱推論法として新しいトピックモデルにもすぐ適用可能か？

主な発見

• AVITM は標準的な平均場推論と同等のトピック品質を示し、訓練と推論時の性能を大幅に向上させる。
• 推論ネットワークは新しい文書のトピック割合を変分最適化を実行せずに推定でき、困惑度は最適化ベースのアプローチと同等である。
• ProdLDA は標準的な LDA より一貫してトピックの整合性を改善し、LDA が Gibbs サンプリングで訓練された場合を含む。
• AVITM は大規模コーパス（例: 約 1 百万文書）を単一 GPU で 80 分未満で訓練可能で、LDA から ProdLDA へ切替えるのにワンラインのコード変更で済む。
• ラプラス近似の Dirichlet priors およびバッチ正規化を用いた高モーメントトレーニングは、成分崩壊を緩和し、トピックのスパース性と整合性を向上させる。
• ProdLDA におけるより高いトピックのスパース性は、トピックの整合性の向上と相関し、ニューラルトピックモデルにおける Dirichlet 似の priors の利点を裏付ける。