[論文レビュー] Discriminative Topic Modeling with Logistic LDA

Iryna Korshunova, Hanchen Xiong+2 more|arXiv (Cornell University)|Sep 3, 2019

Computational and Text Analysis Methods被引用数 8

ひとこと要約

この論文では、LDAの生成的コンponentをニューラルネットワークに置き換えることで、画像、テキスト埋め込み、マルチモーダルデータなど、任意の入力タイプに拡張された判別的トピックモデルであるLogistic LDAを提案する。これにより、解釈可能性とグループ構造のインダクティブバイアスを維持しつつ、性能を向上させる。単語埋め込みと非教師あり学習のみを用いて、20-Newsgroupsで84.4%の精度を達成し、単純なベースラインを上回り、複雑なLSTMモデルと同等の性能を発揮する。

ABSTRACT

Despite many years of research into latent Dirichlet allocation (LDA), applying LDA to collections of non-categorical items is still challenging. Yet many problems with much richer data share a similar structure and could benefit from the vast literature on LDA. We propose logistic LDA, a novel discriminative variant of latent Dirichlet allocation which is easy to apply to arbitrary inputs. In particular, our model can easily be applied to groups of images, arbitrary text embeddings, and integrates well with deep neural networks. Although it is a discriminative model, we show that logistic LDA can learn from unlabeled data in an unsupervised manner by exploiting the group structure present in the data. In contrast to other recent topic models designed to handle arbitrary inputs, our model does not sacrifice the interpretability and principled motivation of LDA.

研究の動機と目的

• 離散的な単語を超えて、画像、テキスト埋め込み、マルチモーダルコレクションなどのより豊かなデータタイプに一般化可能なトピックモデルの開発。
• よりスケーラブルで高性能な判別的学習アプローチを採用しつつも、LDAの解釈可能性と構造的インダクティブバイアスを維持すること。
• アイテムのグループ構造（例：ツイート、ピン、動画）を弱い監督信号として活用することで、明示的なラベルなしに非教師あり学習を可能にすること。
• GloVeのような事前学習済み埋め込みと深層ニューラルネットワークにシームレスに統合できること。
• LSTMのような複雑な系列モデルの代替として、軽量で効率的な選択肢を提供すること。

提案手法

• Logistic LDAは、LDAの生成的コンponentを、入力特徴（例：単語埋め込み）をトピック分布にマップするニューラルネットワークに置き換える。これにより、任意の入力タイプへの適用が可能になる。
• モデルは条件付き因子分解 $ p(m{c}, m{ heta} vert m{x})p(m{x}) $ を用いる。ここで $ m{c} $ はトピック割り当て、$ m{ heta} $ はモデルパラメータ、$ m{x} $ は入力である。これにより、判別的ではあるが、LDAの構造的インダクティブバイアスを保持する。
• 平均場変動的推論を用いて、非教師あり、半教師あり、教師ありの設定でモデルを訓練する。対数尤度の変動的下界を最適化することで実現する。
• 教師あり学習には、経験的リスク最小化のアプローチを導入。ラベルが利用可能な場合、任意の損失関数（例：交差エントロピー）の最適化が可能になる。
• モデルは、LDAにおけるカテゴリカルなトピック割り当てを置き換えるために、ニューラルネットワークを用いて条件付き分布 $ p(m{k}_{dn} vert m{x}_{dn}, m{ heta}) $ をパラメータ化する。
• トピックの解釈可能性は、各トピックの上位語を抽出することで維持され、モデル性能はトピックコherenceスコアと分類精度を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 画像、テキスト埋め込み、マルチモーダルデータなどの任意の入力タイプを扱えるように設計された判別的トピックモデルは、LDAの解釈可能性を維持できるか？
• RQ2 ツイートやピンのコレクションなどのグループレベルの構造を活用することで、明示的なラベルなしにトピックモデルの非教師あり学習が有効に行えるか？
• RQ3 20-Newsgroupsのような標準的なNLPベンチマークにおいて、Logistic LDAはLSTMのようなディープラーニングベースラインと比べて性能に劣らないか？
• RQ4 複雑なモデル（例：oh-2LSTMp）と比較して、軽量で非生成的であるにもかかわらず、優れた結果を達成できるか？
• RQ5 下流タスク（例：交差エントロピー）の目的関数を最適化することで、損失に依存しない目的関数よりも性能が向上するか？

主な発見

• Logistic LDAは、300次元のGloVe単語埋め込みと軽量なニューラルネットワークのみを用いて、20-Newsgroupsの文書分類ベンチマークで84.4%の精度を達成した。
• 事前学習オートエンコーダーで初期化された複雑なLSTM分類器SA-LSTMと同等の性能を発揮したが、学習時間は数日ではなく数時間で済んだ。
• 平均場変動的推論を用いた非教師あり学習により、一貫性のあるトピックが効果的に発見された。例：「自動車」（例：bmw, car, engine）や「宇宙探査」（例：spacecraft, rocket, orbit）。
• 交差エントロピー損失を用いて推論目的関数を最適化した場合、損失に依存しない目的関数（82.2%）と比較して顕著に高い精度（84.4%）を達成した。これは、タスク固有の最適化の利点を裏付けた。
• 非教師ありトピック発見においても優れた性能を示し、SrivastavaとSuttonの最先端モデルと同等のNPMIコヒーレンススコアを達成した。
• Logistic LDAは、明示的なトピック表現を維持しながら、深層ニューラルネットワークと任意の入力モダリティとでのエンドツーエンド学習を可能にした。