[論文レビュー] Short Text Topic Modeling Techniques, Applications, and Performance: A Survey

Jipeng Qiang, Qian Zhenyu+3 more|arXiv (Cornell University)|Apr 13, 2019

Topic Modeling被引用数 21

ひとこと要約

本調査は、短いテキストのトピックモデリング（STTM）技術について包括的な分析を提供し、ディリクレ多項分布混合（DMM）ベース、グローバルな語の共起ベース、自己集約ベースの手法に分類する。実世界のデータセット上で最先端のモデルを評価し、Javaで作られたオープンソースのSTTMライブラリを導入し、DMMベースのモデルが他の手法と比較してより速い収束と高い効率性を示すことを示している。GPUアクセラレーションを施したバージョンでは、トピックの一貫性を維持したままスケーラビリティが向上している。

ABSTRACT

Analyzing short texts infers discriminative and coherent latent topics that is a critical and fundamental task since many real-world applications require semantic understanding of short texts. Traditional long text topic modeling algorithms (e.g., PLSA and LDA) based on word co-occurrences cannot solve this problem very well since only very limited word co-occurrence information is available in short texts. Therefore, short text topic modeling has already attracted much attention from the machine learning research community in recent years, which aims at overcoming the problem of sparseness in short texts. In this survey, we conduct a comprehensive review of various short text topic modeling techniques proposed in the literature. We present three categories of methods based on Dirichlet multinomial mixture, global word co-occurrences, and self-aggregation, with example of representative approaches in each category and analysis of their performance on various tasks. We develop the first comprehensive open-source library, called STTM, for use in Java that integrates all surveyed algorithms within a unified interface, benchmark datasets, to facilitate the expansion of new methods in this research field. Finally, we evaluate these state-of-the-art methods on many real-world datasets and compare their performance against one another and versus long text topic modeling algorithm.

研究の動機と目的

• 短いテキストにおけるスパarsity問題に対処するため、短いテキストのトピックモデリング（STTM）技術の体系的分類を提供すること。
• 分類学的代表的手法が複数の実世界のデータセットおよび分類、クラスタリング、トピック一貫性といったタスクにおいて、パフォーマンスを評価すること。
• 今後の研究を支援するため、調査されたアルゴリズム、ベンチマークデータセット、評価ツールを統合した、最初のオープンソースで統一されたJavaライブラリ（STTM）を開発すること。
• DMMベース、グローバル共起ベース、自己集約ベースのモデルの効率性、収束速度、トピック品質を比較すること。
• 実世界の応用におけるSTTMの可視化、評価指標、モデル選択に関する未解決の課題を特定すること。

提案手法

• STTM手法を3つのグループに分類：DMMベース（例：GSDMM、GPU-DMM）、グローバル語の共起ベース（例：BTM、WNTM）、自己集約ベース（例：PTM、SATM）。
• DMMおよび関連モデルにおけるパrameter推定に変分推論とギブスサンプリングを採用し、大規模な推論にはGPUアクセラレーションを適用。
• すべての調査対象モデルを統一したインターフェースで提供するオープンソースのJavaライブラリ（STTM）を導入し、分類、クラスタリング、一貫性スコアリングといった評価タスクをサポート。
• 6つの公開データセット（例：Biomedicine、GoogleNews、Tweet）を用いて、トピック一貫性（NMI）、収束速度、実行時間効率の観点からモデルパフォーマンスをベンチマーク。
• 正規化相互情報量（NMI）やトピック一貫性といった標準的な評価指標を用いて、異なるコーパス間でのモデル比較。
• 反復回数ごとにNMI値を測定することで収束行動を分析し、DMMベースのモデルが自己集約ベースのものよりも速い収束を示すことを明らかにした。

実験結果

リサーチクエスチョン

• RQ1 DMMベース、グローバル共起ベース、自己集約ベースの短いテキストのトピックモデリング手法のカテゴリごとに、トピック一貫性と収束速度の観点で性能はどのように異なるか？
• RQ2 GPUアクセラレーションを施したモデルとCPUベースの対比において、短いテキストのトピックモデリングにおける効率的トレードオフは何か？
• RQ3 STTMモデルは、LDAのような従来の長いテキストのトピックモデリング手法と比較して、短いテキストコーパス上でのパフォーマンスでどのように異なるか？
• RQ4 実世界の短いテキストコーパスにおいて、トピック品質、収束速度、計算効率のバランスを最も良く達成するモデルアーキテクチャは何か？
• RQ5 トピックモデルの評価における主な課題は何か。新しい指標や可視化技術は、解釈可能性とモデル選択をどのように改善できるか？

主な発見

• GSDMM や GPU-DMM といった DMM ベースのモデルは最も速く収束し、30イテレーション以内に安定した性能に達する。一方、SATM といった自己集約ベースのモデルは最も遅い収束を示し、反復性能も最低である。
• LDA と DMM は初期化時間と1イテレーションあたりの時間の両面で最も効率的であり、Biomedicine データセットでは LDA が 77 ms、DMM が 46 ms を要する。
• GPU-PDMM は最も遅いモデルであり、Biomedicine データセットでは1イテレーションあたり 9685.44 ms を要する。これは、トピック割り当てのサンプリングにかかる計算コストの高さが要因である。
• 単語埋め込みを組み込むモデル（例：GPU-DMM、LF-DMM、GPU-PDMM）は、語の類似度計算のため、初期化時間が著しく長くなる。
• グローバルな語の共起ベースのモデルは、GSDMM や LDA よりも遅いが、自己集約ベースのモデルより速く、PTM は SATM より速いが、共起ベースの手法よりは遅い。
• DMM ベースのモデルは NMI 値が 30 イテレーション以内に安定するが、グローバル共起ベースのモデルは 60 イテレーション以内に安定する。これにより、DMM ベースのモデルがより速い収束を示すことが確認された。