[論文レビュー] Discovering Discrete Latent Topics with Neural Variational Inference

Yishu Miao, Edward Grefenstette+1 more|arXiv (Cornell University)|Jun 1, 2017

Topic Modeling参考文献 25被引用数 162

ひとこと要約

この論文は、ガウスベースのニューラルネットワーク（GSM、GSB、RSB）でパラメータ化したニューラルトピックモデルと、離散潜在トピックを発見するための切り捨てフリーの再帰的スティックブレイキング手法（RSB-TF）を導入し、複数コーパスでパープレキシティとトピック一貫性が高い成果を示す。

ABSTRACT

Topic models have been widely explored as probabilistic generative models of documents. Traditional inference methods have sought closed-form derivations for updating the models, however as the expressiveness of these models grows, so does the difficulty of performing fast and accurate inference over their parameters. This paper presents alternative neural approaches to topic modelling by providing parameterisable distributions over topics which permit training by backpropagation in the framework of neural variational inference. In addition, with the help of a stick-breaking construction, we propose a recurrent network that is able to discover a notionally unbounded number of topics, analogous to Bayesian non-parametric topic models. Experimental results on the MXM Song Lyrics, 20NewsGroups and Reuters News datasets demonstrate the effectiveness and efficiency of these neural topic models.

研究の動機と目的

• 非共役性および文脈豊かな文書データを扱うための従来のトピックモデルへの神経ネットワークによる代替案を動機づける。
• エンドツーエンドのバックプロパゲーションを可能にするよう、ニューラルネットワークを用いてトピック分布をパラメータ化する。
• 有限な（GSM、GSB）および無限の（RSB、RSB-TF）トピックモデルを探求し、疎結合かつトピックを意識した文書表現をモデル化する。
• 標準データセット（MXM Song Lyrics、20NewsGroups、Reuters）でこれらのモデルの効率性とロバスト性を実証する。

提案手法

• ガウス潜在量に条件づけられたトピック分布の3つのニューラル構成、Gaussian Softmax (GSM)、Gaussian Stick Breaking (GSB)、Recurrent Stick Breaking (RSB) を定義する。
• 推論ネットワーク q(θ|d) を用いた変分オートエンコーダフレームワークを使い、p(θ|d) を近似し、勾配推定のための再パラメータ化を適用する。
• β（トピック-語分布）を語彙ベクトルおよびトピックベクトル上のソフトマックスでパラメータ化し、Θ（トピック／語パラメータ）と Φ（推論パラメータ）のエンドツーエンド訓練を可能にする。
• RSBとトピックRNNを結合して、無限のトピック列を動的に生成する無限トピックモデルを実装する（RSB、RSB-TF）。
• 新しいトピックが検証下界を改善する場合にのみ受理閾値 γ で制御して追加される、切り捨てフリーの変分推論スキームを導入する。
• ニューラルトピックモデルと従来のLDAベースおよびニューラル文書モデルを比較し、パープレキシティとトピック一貫性を分析する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは文書モデリングのために離散的なトピック分布を効果的にパラメータ化できるか。
• RQ2 GSM、GSB、RSB は標準コーパスにおけるパープレキシティと一貫性の点で従来の LDAおよびニューラルベースラインより利点を持つか。
• RQ3 再帰的スティックブレーク構築は、バックプロパゲーションで訓練可能な切り捨てフリーの無限トピックモデルを生み出せるか。
• RQ4 暗黙的トピック分布（文書モデル変種）と明示的トピック-語分布と比較した一般化と一貫性への影響はどのようになるか。
• RQ5 ダイナミックなトピック生成（RSB-TF）はデータセット間での性能とトピック多様性にどのように影響するか。

主な発見

• GSM、GSB、RSB は MXM、20NewsGroups、Reuters データセットにおいてパープレキシティで複数のベースライン（LDA、NVLDA）を上回る。
• RSB-TF（切り捨てなし）は、検証データ上で HDP よりも良いパープレキシティを達成し、動的トピック成長の利点を示す。
• 暗黙的トピック分布への切替は一般化を改善し、多くのモデルで明示的なトピック-語分布よりもパープレキシティが良くなる場合がある。
• RSB は 20NewsGroups において GSM および GSB よりも 50-および200-トピック設定で上回る可能性がある。これは順次的なスティックブレークによる依存関係の捕捉による。
• トピック一貫性（NPMI）はニューラルトピックモデル間で概ね同等であり、スティックブレーク順序の初期トピックほど一貫性が高いことが多い。
• RSB-TF は訓練中に動的にトピックを活性化し、20NewsGroups では 200–300 の活性トピックの間で収束することが多く、初期トピック数には感度が低い。