[論文レビュー] Scalable Dynamic Topic Modeling with Clustered Latent Dirichlet Allocation (CLDA)

Chris Gropp, Alexander Herzog+3 more|arXiv (Cornell University)|Oct 25, 2016

Topic Modeling参考文献 36被引用数 8

ひとこと要約

本稿では、時系列的または他の基準に基づいてテキストデータをセグメント化し、各セグメントに対して独立にLDAを適用し、局所的トピックをグローバルトピックにクラスタリングする、スケーラブルで並列処理可能なトピックモデリング手法であるClustered Latent Dirichlet Allocation (CLDA)を提案する。CLDAは、動的トピックモデリング（DTM）と同等のパープレキシティを維持しながら、2桁の高速化を達成し、トピックの出現・消滅・分岐を含む動的トピックの進化を可能にする。

ABSTRACT

Topic modeling, a method for extracting the underlying themes from a collection of documents, is an increasingly important component of the design of intelligent systems enabling the sense-making of highly dynamic and diverse streams of text data. Traditional methods such as Dynamic Topic Modeling (DTM) do not lend themselves well to direct parallelization because of dependencies from one time step to another. In this paper, we introduce and empirically analyze Clustered Latent Dirichlet Allocation (CLDA), a method for extracting dynamic latent topics from a collection of documents. Our approach is based on data decomposition in which the data is partitioned into segments, followed by topic modeling on the individual segments. The resulting local models are then combined into a global solution using clustering. The decomposition and resulting parallelization leads to very fast runtime even on very large datasets. Our approach furthermore provides insight into how the composition of topics changes over time and can also be applied using other data partitioning strategies over any discrete features of the data, such as geographic features or classes of users. In this paper CLDA is applied successfully to seventeen years of NIPS conference papers (2,484 documents and 3,280,697 words), seventeen years of computer science journal abstracts (533,560 documents and 32,551,540 words), and to forty years of the PubMed corpus (4,025,978 documents and 273,853,980 words).

研究の動機と目的

• 動的トピックモデリング（DTM）が直列的依存関係と並列処理の困難さを抱えるスケーラビリティの限界を解消すること。
• 時間的または他の離散的データパーティショニングに基づいて、大規模で動的変化するテキストコーパス（例：学術論文）の効率的分析を可能にするために、トピックモデリングを時間的・離散的パーティションに分離すること。
• グローバルトピックのトレンドとローカルトピックの変異を両方提供し、DTMよりも柔軟にトピックの進化、出現、分岐を捉えること。
• データの分解とクラスタリングを通じて、トピックモデリングを効果的に並列化できることを示し、ビッグデータ環境での高いパフォーマンスを実現すること。
• 時系列的セグメンテーションを超えて、ジャーナル、地理的地域、ユーザークラスなどの他の特徴を含めたトピックモデリングの拡張を実現すること。

提案手法

• 時間、ジャーナル、またはその他の離散的特徴（例：地理的位置やデータソース）に基づいて、入力コーパスを互いに素性のないセグメントに分割する。
• 各セグメントに対して、高度に並列化されたLDAの変種（PLDA+）を独立に適用し、局所的トピックモデルを生成する。
• すべてのセグメントからの局所的トピックを集約し、並列k-meansクラスタリングを用いて類似した局所的トピックをグローバルトピックにグループ化する。
• 各グローバルトピックをそのクラスタの重心によって表現し、セグメント間での意味的整合性を保持する。
• 得られたグローバルトピックを用いて、時間的または特徴ごとのトピックの割合、進化、構造的変化（例：分岐や統合）を追跡する。
• 既存のPLDA+およびk-meansの並列実装を活用することで、大規模データセットでも高いスケーラビリティとパフォーマンスを確保する。

実験結果

リサーチクエスチョン

• RQ1 動的トピックの進化とグローバルな整合性を保持したまま、トピックモデリングを効果的に並列化できるか？
• RQ2 CLDAの実行時間、パープレキシティ、トピック類似度の観点から、DTMおよびLDAと比較して、CLDAのパフォーマンスとトピック品質はどの程度か？
• RQ3 DTMが柔軟にモデル化できないトピックダイナミクス、例えば出現・消滅・分岐を、CLDAはどの程度正確に捉えることができるか？
• RQ4 同じコーパスに対して、時間的およびジャーナルベースのセグメンテーション戦略を複数適用することで、トピック進化の異なる次元を明らかにできるか？
• RQ5 異なるパrameter設定やクラスタリング設定において、CLDAが生成するグローバルトピックの安定性はどの程度か？

主な発見

• CLDAは、400万件を超えるドキュメントを含むPubMedコーパスを含む大規模コーパスにおいて、元のDTM実装と比較して2桁の高速化を達成した。
• CLDAは、DTMおよびPLDAと同等のパープレキシティ水準を維持しており、生成モデルの品質が優れていることを示している。
• CLDAが生成するトピックは、DTMおよびLDAのものと意味的に広く類似しており、モデルの妥当性が確認された。
• CLDAは、1つのセグメントに0、1、または複数の局所的トピック代表を有するグローバルトピックを許容することで、DTMよりも包括的なトピックダイナミクスのモデリングが可能であり、トピックの出現や分岐を捉えることができる。
• CLDAは、時間的およびジャーナルベースのセグメンテーションの両方で、トピック進化を効果的にモデル化し、『コンピュータネットワーク』のような広範なトピック内に、明確なサブドメインを明らかにした。
• 本手法は、時間的要因にとどまらず、ジャーナル、場所、ユーザークラスなど多様なデータパーティショニング戦略にも適用可能であり、スケーラビリティと柔軟性を示した。