[論文レビュー] Dirichlet belief networks for topic structure learning

He Zhao, Lan Du+2 more|arXiv (Cornell University)|Nov 2, 2018

Topic Modeling参考文献 42被引用数 8

ひとこと要約

本稿では、トピックモデルにおける語彙分布（WD）に階層的ディリクレ事前分布を適用することで、解釈可能なトピック階層を可能にする深層生成モデル、Dirichletベイズネットワーク（DirBN）を提案する。WDを複数層にわたるディリクレユニットでモデル化し、各トピックが上位層のトピックの混合として生成されることで、スパースなテキストにおいてもモデリング精度を向上させつつ、効率的な推論を可能にする完全な局所的共役性を維持する。

ABSTRACT

Recently, considerable research effort has been devoted to developing deep architectures for topic models to learn topic structures. Although several deep models have been proposed to learn better topic proportions of documents, how to leverage the benefits of deep structures for learning word distributions of topics has not yet been rigorously studied. Here we propose a new multi-layer generative process on word distributions of topics, where each layer consists of a set of topics and each topic is drawn from a mixture of the topics of the layer above. As the topics in all layers can be directly interpreted by words, the proposed model is able to discover interpretable topic hierarchies. As a self-contained module, our model can be flexibly adapted to different kinds of topic models to improve their modelling accuracy and interpretability. Extensive experiments on text corpora demonstrate the advantages of the proposed model.

研究の動機と目的

• トピック割合（TP）のための深層的事前分布に関する広範な研究とは対照的に、トピックモデルにおける語彙分布（WD）の深層的階層的モデリングの欠如に取り組む。
• 語彙分布（WD）のための自己完結的で解釈可能な深層構造を構築し、意味的トピック階層の発見を可能にする。
• コロナス全体の情報を深層WD事前分布を通じて活用することで、文書がスパースな場合（例：ツイートやニュース要約）でもモデリング精度を向上させる。
• 既存のトピックモデルに統合可能なプラグインモジュールを提供し、精度と解釈可能性の両方を向上させる。

提案手法

• DirBNは、各層のトピックが語彙語の確率分布としてディリクレ分布に従う多層構造の信念ネットワークを構築する。
• 下位層の各トピックは、上位層のトピックの混合として生成され、階層的抽象化と意味的関連性の発見が可能になる。
• すべての層の隠れユニット（トピック）は、語彙分布がディリクレ分布に従うため、実際のトピックとして解釈可能である。
• 層間接続にはガンマ分布に従う重みが用いられ、柔軟かつ構造的なトピック生成を可能にする。
• 適切なデータ拡張と周辺化により、完全な局所的共役性が達成され、シンプルで効率的な推論アルゴリズムが可能になる。
• DirBNは、ポisson因子分析（PFA）、MetaLDA、ガンマ信念ネットワーク（GBN）などの既存モデルにシームレスに統合可能であり、それらのWDにおける単純なディリクレ事前分布を置き換えることができる。

実験結果

リサーチクエスチョン

• RQ1 語彙分布（WD）に深層的階層構造を適用することで、標準的な単層事前分布と比較して、トピックモデルの解釈可能性と精度が向上するか？
• RQ2 WDに深層構造を適用することで、複数層にわたる意味的で解釈可能なトピック階層をどのように発見できるか？
• RQ3 文脈が限られるスパースなテキストデータにおいて、DirBNはモデリング性能をどの程度向上させるか？
• RQ4 推論のスケーラビリティを損なわずに、既存のトピックモデルへの統合が効果的かつ効率的に行えるか？

主な発見

• DirBNは、スパースなテキストコーパス（例：ツイートやニュース要約）において、深層WD事前分布を通じてコロナス全体の情報を活用することで、優れたモデリング精度を達成する。
• モデルは解釈可能な階層的トピック構造を効果的に発見し、上位層のトピックは下位層のトピックをより抽象的かつ一般化した形で表現する。
• WSJおよび他のテキストコーパスにおける実験では、GBN、MetaLDA、PFAなどのモデルにDirBNを統合した場合、性能向上が確認された。
• ディリクレ分布に従う隠れユニットの使用により、すべての層のトピックが語彙分布によって直接解釈可能であることが保証される。
• データ拡張と周辺化により、完全な局所的共役性が維持され、効率的かつスケーラブルな推論が可能になる。
• 図5などのトピック階層の可視化により、DirBNが層間のトピック間の意味的関係を明確に階層的組織として捉えていることが確認された。