[論文レビュー] Latent Tree Models for Hierarchical Topic Detection

Peixian Chen, Nevin L. Zhang+4 more|arXiv (Cornell University)|May 21, 2016

Topic Modeling参考文献 45被引用数 4

ひとこと要約

本稿では、階層的潜在木モデル（HLTMs）を用いた階層的トピック検出のための新規手法である階層的潜在木分析（HLTA）を提案する。HLTAは、文書集合を二値の語出現変数と、ソフトな文書分割を表す潜在二値変数を用いてモデル化する。LDAに基づく手法とは異なり、HLTAは文書生成をモデル化しないが、語の共起パターンに基づいてトピックを文書のクラスタとして解釈することで、最先端の手法（例：nHDP）よりも優れたトピックの整合性とコンパクト性スコア、より意味的に明確な階層構造を達成する。

ABSTRACT

We present a novel method for hierarchical topic detection where topics are obtained by clustering documents in multiple ways. Specifically, we model document collections using a class of graphical models called hierarchical latent tree models (HLTMs). The variables at the bottom level of an HLTM are observed binary variables that represent the presence/absence of words in a document. The variables at other levels are binary latent variables, with those at the lowest latent level representing word co-occurrence patterns and those at higher levels representing co-occurrence of patterns at the level below. Each latent variable gives a soft partition of the documents, and document clusters in the partitions are interpreted as topics. Latent variables at high levels of the hierarchy capture long-range word co-occurrence patterns and hence give thematically more general topics, while those at low levels of the hierarchy capture short-range word co-occurrence patterns and give thematically more specific topics. Unlike LDA-based topic models, HLTMs do not refer to a document generation process and use word variables instead of token variables. They use a tree structure to model the relationships between topics and words, which is conducive to the discovery of meaningful topics and topic hierarchies.

研究の動機と目的

• 文書生成プロセスに依存せずに意味的に明確なトピック階層を生成する新しい階層的トピック検出手法を開発すること。
• 二値の潜在変数を用いた木構造のグラフィカルモデルを用いて、語の共起パターンとその階層的関係をモデル化すること。
• トピックを確率的語分布ではなく、ソフトな文書クラスタとして解釈することで、トピックの質を向上させること。
• 上位のトピックがより広範なテーマ、下位のトピックがより具体的なサブトピックを表すようにすることで、トピック階層の解釈可能性を高めること。
• nHDPを含む既存のLDAベースの手法（例：nHDP）よりも、トピックの整合性、コンパクト性、および階層構造の質において優れるようにすること。

提案手法

• HLTAは、観測変数として文書内の二値語出現インジケータを用いる階層的潜在木モデル（HLTMs）を用いる。
• 内部ノードにおける潜在変数は、文書のソフトなパーティショニングを表し、それぞれのパーティショニングをトピックとして解釈する。
• 語変数がそのパス上の潜在変数によって条件付き独立であることをモデルが強制することで、整合性の高いトピッククラスタを促進する。
• トピックは、そのトピック内での出現確率が高く、トピック間での出現確率が低い語によって特徴づけられ、識別的な表現を保証する。
• モデル構築段階と最終フィッティング段階でのパラメータ学習を高速化するために、プログレッシブEMとステップワイズEMが用いられる。
• 語の類似度は、事前学習済みのword2vec埋め込みを用いて計算され、トピックのコンパクト性を外部指標で評価する。

実験結果

リサーチクエスチョン

• RQ1 文書生成の仮定を避ける潜在木モデルは、LDAに基づく手法よりも優れた品質の階層的トピックを生成できるか？
• RQ2 語の共起パターンに基づくソフトな文書パーティショニングから得られるトピックと、確率的語分布から得られるトピックは、どのように比較できるか？
• RQ3 HLTMsの木構造が、トピック階層の解釈可能性と主題的一致性をどの程度向上させるか？
• RQ4 二値語出現変数と潜在変数クラスタリングを用いることで、トークンベースのモデルよりも優れたトピックの整合性とコンパクト性スコアが得られるか？
• RQ5 HLTAが生成するトピック階層の質は、意味的構造とトピックグループ化の観点からnHDPと比べてどの程度優れているか？

主な発見

• HLTAは、NIPSおよびNYTの両データセットにおいて、nHDPを含むすべてのLDAベースのベースラインより顕著に高いトピック整合性スコアを達成した。
• HLTAは、競合手法よりも顕著に高いトピックコンパクト性スコアを達成しており、トピック内での語の意味的整合性が優れていることを示している。
• 手動評価では、HLTAのトピック階層がnHDPのものよりも意味的に整合性が高く、より明確なテーマグループ（例：「経済」「株式市場」「企業」）を示していた。
• HLTAのトピック階層は、異なるレベルで明確なグループ化を示し、より自然で解釈可能な構造を示したのに対し、nHDPの出力は混合的かつ整合性に欠けるグループ化であった。
• トークンレベルのモデリングを避けて二値語変数を用いても、HLTAは計算時間においてnHDPと同等またはそれを上回りながら、より優れたトピック品質を提供した。
• 結果から、階層的潜在木構造を用いて語の共起パターンをモデル化することで、より意味的で解釈可能なトピック階層が得られることを示している。