[論文レビュー] jLDADMM: A Java package for the LDA and DMM topic models

Dat Quoc Nguyen|arXiv (Cornell University)|Aug 11, 2018

Topic Modeling参考文献 14被引用数 11

ひとこと要約

jLDADMM は、畳み込みギブスサンプリングを用いて、トピックモデリングのための潜在ディリクレ配布（LDA）およびディリクレ多項分布混合（DMM）モデルを実装する、軽量でスタンドアロンのJavaパッケージです。標準的および短いテキストの両方のトピックモデリングをサポートし、PurityおよびNMIを用いた組み込み文書クラスタリング評価機能を備え、外部依存関係が不要であるため、1つの.jarファイルで簡単にデプロイ可能です。

ABSTRACT

In this technical report, we present jLDADMM---an easy-to-use Java toolkit for conventional topic models. jLDADMM is released to provide alternatives for topic modeling on normal or short texts. It provides implementations of the Latent Dirichlet Allocation topic model and the one-topic-per-document Dirichlet Multinomial Mixture model (i.e. mixture of unigrams), using collapsed Gibbs sampling. In addition, jLDADMM supplies a document clustering evaluation to compare topic models. jLDADMM is open-source and available to download at: https://github.com/datquocnguyen/jLDADMM

研究の動機と目的

• 従来のLDAが性能を発揮できない短いまたはスパースなテキストデータに対して、軽量で簡単にデプロイ可能な代替手段を提供すること。
• 効率的な推論のため、畳み込みギブスサンプリングを用いてLDAおよびDMMモデルを実装すること。
• トピックモデルの性能を比較するため、Purityおよび正規化相互情報量（NMI）を用いたネイティブな文書クラスタリング評価モジュールを組み込むこと。
• すべてのコンponentsを1つの実行可能.jarファイルにパッケージ化することで、依存関係のオーバーヘッドを排除し、コマンドラインおよびAPIでのシームレスな使用を可能にすること。
• 新規コーパスに対するトレーニングおよび推論の両方をサポートし、モデルパラメータの再利用およびトピック割り当ての予測を可能にすること。

提案手法

• 本パッケージは、先行研究に従い、畳み込みギブスサンプリングを用いてLDAおよびDMMの事後分布推論を実装しています。
• 入力は1行に1ドキュメントずつフォーマットされ、単語は半角スペースで区切られ、小文字化、ストップワード除去、頻度および長さによるフィルタリングなどの前処理が必要です。
• LDAモデルは対称ディリクレ事前分布を用い、デフォルトのα = 0.1およびβ = 0.01を設定します。一方、DMMは短いテキストに対してβ = 0.1を設定します。
• トピック割り当ておよび分布は、出力ファイルに保存されます。.theta（ドキュメント-トピック）、.phi（トピック-語彙）、.topWords（各トピックの上位語）、.paras（モデルパラメータ）です。
• 評価のため、ドキュメントは確率が最も高いトピックに割り当てられ、PurityおよびNMI指標を用いて真のラベルに基づきクラスタリングスコアが計算されます。
• システムはトレーニングモードおよび推論モードの両方をサポートしており、新規データに対するトピック推論のための事前学習済みモデルパラメータの読み込みも可能です。

実験結果

リサーチクエスチョン

• RQ1 LDAの性能が低下する短いテキストに対して、依存関係のない軽量なJavaパッケージが効果的にトピックモデリングをサポートできるか？
• RQ2 1ドキュメントあたり1つのトピックを仮定するDMMモデルは、短いテキストコーパスにおいてLDAと比較してクラスタリング品質にどのように差を生じるか？
• RQ3 jLDADMMの組み込み評価モジュールは、PurityおよびNMIといった標準的なクラスタリング指標を用いて、トピックモデルの性能をどれほど正確に評価できるか？
• RQ4 jLDADMMは外部依存関係がなく、未学習データに対するトレーニングおよび推論を信頼性高く実行できるか？
• RQ5 モデルパラメータの永続化および段階的サンプリングの導入により、トピックモデリングワークフローにおける使いやすさおよび再現性が向上するか？

主な発見

• jLDADMM は、最小限のセットアップで畳み込みギブスサンプリングを用いてLDAおよびDMMを実装し、1つの.jarファイルで迅速なデプロイが可能である。
• DMMにおける高いβ値（例：0.1）の許容により、短いテキストの処理が可能となり、スパースなデータに対する性能が向上する。
• PurityおよびNMIを用いた文書クラスタリング評価がネイティブにサポートされており、-prob theta オプションを使用した複数回の実行における平均および標準偏差が報告される。
• 事前学習済みモデルパラメータを用いて、未学習コーパスに対するトピック推論が可能であり、サンプリングイテレーション数および出力ファイル名を設定可能である。
• 評価モジュールは複数の.thetaファイルを同時に処理でき、モデル比較のためのクラスタリングスコアの平均および標準偏差が計算される。
• 本パッケージは拡張可能であり、論文に記載されたソースコードリンクに示されるように、ワードエムbeddingsの統合も可能である。