[論文レビュー] Improving Reliability of Latent Dirichlet Allocation by Assessing Its Stability Using Clustering Techniques on Replicated Runs

Jonas Rieger, Lars Koppers+2 more|arXiv (Cornell University)|Feb 14, 2020

Topic Modeling参考文献 12被引用数 7

ひとこと要約

本稿では、潜在ディリクレ配分（LDA）のモデル信頼性を向上させるために、再実行されたLDA実行結果間の類似性を評価する修正Jaccard係数と局所的プルーニングを施した階層的クラスタリングを用いた、S-CLOPと呼ばれる新しい安定性指標を提案する。主な貢献は、他のすべての実行結果と類似度が最も高いLDA実行結果を選択するプロトタイプ選定手法であり、これは、特に複雑なコーパスに対して50回以上の再実行を実施する場合に、再現性と解釈可能性を顕著に向上させる。

ABSTRACT

For organizing large text corpora topic modeling provides useful tools. A widely used method is Latent Dirichlet Allocation (LDA), a generative probabilistic model which models single texts in a collection of texts as mixtures of latent topics. The assignments of words to topics rely on initial values such that generally the outcome of LDA is not fully reproducible. In addition, the reassignment via Gibbs Sampling is based on conditional distributions, leading to different results in replicated runs on the same text data. This fact is often neglected in everyday practice. We aim to improve the reliability of LDA results. Therefore, we study the stability of LDA by comparing assignments from replicated runs. We propose to quantify the similarity of two generated topics by a modified Jaccard coefficient. Using such similarities, topics can be clustered. A new pruning algorithm for hierarchical clustering results based on the idea that two LDA runs create pairs of similar topics is proposed. This approach leads to the new measure S-CLOP ({\bf S}imilarity of multiple sets by {\bf C}lustering with {\bf LO}cal {\bf P}runing) for quantifying the stability of LDA models. We discuss some characteristics of this measure and illustrate it with an application to real data consisting of newspaper articles from extit{USA Today}. Our results show that the measure S-CLOP is useful for assessing the stability of LDA models or any other topic modeling procedure that characterize its topics by word distributions. Based on the newly proposed measure for LDA stability, we propose a method to increase the reliability and hence to improve the reproducibility of empirical findings based on topic modeling. This increase in reliability is obtained by running the LDA several times and taking as prototype the most representative run, that is the LDA run with highest average similarity to all other runs.

研究の動機と目的

• 初期化のランダム性とGibbsサンプリングによるLDAの固有の不安定性により、複数回の実行で結果が再現不能になる問題に対処すること。
• 複数回の再実行されたLDAトピックモデルの安定性を定量化する指標を開発すること。
• 複数回のLDA実行から代表的なプロトタイプモデルを選定することで、トピックモデリングの実証的発見の信頼性と再現性を向上させること。
• 研究者がシステム的な再実行と類似度に基づくモデル選定を通じて、LDA結果に対する信頼を高めるための実用的フレームワークを提供すること。

提案手法

• 同一コーパスに対して同一のハイパーパrameterを用いて、複数の独立したLDA実行を実施し、再実行されたトピックモデルを生成する。
• 語彙分布の比較に特化した修正Jaccard係数を用いて、各実行間の対比較トピック類似度を計算する。
• 類似度行列に対して階層的クラスタリングを実行し、複数の実行間で類似度の高いトピックペアを特定する新しい局所的プルーニングアルゴリズムを適用する。
• クラスタリングの結果を基に、S-CLOP指標を定義する。この指標は、あるモデルが他のすべてのモデルと平均的にどれほど類似しているかを測定する。
• 平均類似度が他のすべての実行結果と最も高いモデルをプロトタイプモデルとして選定する。これにより、より高い安定性と代表性が保証される。
• 実際のコーパス（USA Today新聞記事）を用いて手法を検証し、再実行回数（10～100回）を変化させた場合の安定性を比較した。

実験結果

リサーチクエスチョン

• RQ1 同じテキストコーパス上で複数回の独立したLDA実行を実施した場合、LDAトピックモデルの安定性はどのように変化するか？
• RQ2 類似度に基づくクラスタリング手法は、再実行されたLDA実行間で一貫したトピック構造を効果的に同定できるか？
• RQ3 再実行されたLDA実行の回数を増やすことで、得られるトピックモデルの信頼性と安定性にどのような影響を与えるか？
• RQ4 複数回の実行から代表的なプロトタイプモデルをどのように選定すれば、再現性と解釈可能性を向上させられるか？
• RQ5 提案されたS-CLOP指標は、ランダム選択に比べて、安定的かつ信頼性のあるトピックモデルをどれほど効果的に同定できるか？

主な発見

• 100回の再実行において、最小平均類似度は0.796であったが、少なくとも50回の再実行を実施した場合、0.862に上昇した。
• 100回の再実行における最大平均類似度は0.877に達したが、50回以上の再実行では0.895に上昇し、より多くの実行回数で安定性が向上していることが示された。
• 10回の再実行からプロトタイプモデルを選定した場合でも、最小および最大平均類似度はそれぞれ0.842および0.880に向上し、計算リソースが限られた状況下でも顕著な改善が得られた。
• ランダムに選ばれたモデル、例えばRun4（平均類似度0.807）は、著しく不安定であることが判明し、再実行なしでは誤解を招くリスクがあることが示された。
• S-CLOPにより選定されたプロトタイプモデルは、他のすべての実行結果との平均類似度において、個々の実行結果を常に上回った。特に、プロトタイプセットにおいてRun1は0.902の類似度を達成した。
• デンドログラム解析により、ランダム選択は解釈が困難なモデルを生じる可能性がある一方で、S-CLOPに基づくプロトタイプアプローチは、強固で安定したトピック構造を効果的に同定していることが確認された。