[論文レビュー] Large scale link based latent Dirichlet allocation for web document classification

István Bíró, Jácint Szabó|arXiv (Cornell University)|Jun 25, 2010

Text and Document Classification Technologies参考文献 31被引用数 4

ひとこと要約

本稿では、双方向的影響を許容する文書間の影響を組み込んだ、ハイパーリンク構造を統合した画期的な連結型潜在ディリクレ配分（LDA）モデルを提案する。これにより、リンクに沿ったトピック伝播が可能となる。また、5–10倍の高速化を達成しつつ1%未満の精度損失に抑えるブーストド・ギャブスサンプリング戦略を導入し、標準LDAに比べてAUCが4%向上、tf.idfに比べて18%向上する。

ABSTRACT

In this paper we demonstrate the applicability of latent Dirichlet allocation (LDA) for classifying large Web document collections. One of our main results is a novel influence model that gives a fully generative model of the document content taking linkage into account. In our setup, topics propagate along links in such a way that linked documents directly influence the words in the linking document. As another main contribution we develop LDA specific boosting of Gibbs samplers resulting in a significant speedup in our experiments. The inferred LDA model can be applied for classification as dimensionality reduction similarly to latent semantic indexing. In addition, the model yields link weights that can be applied in algorithms to process the Web graph; as an example we deploy LDA link weights in stacked graphical learning. By using Weka's BayesNet classifier, in terms of the AUC of classification, we achieve 4% improvement over plain LDA with BayesNet and 18% over tf.idf with SVM. Our Gibbs sampling strategies yield about 5-10 times speedup with less than 1% decrease in accuracy in terms of likelihood and AUC of classification.

研究の動機と目的

• 単方向の引用モデルを超えてハイパーリンク構造を統合することで、大規模なウェブドキュメント分類のスケーラビリティを実現すること。
• ウェブ規模のデータに対して標準LDAが計算的に非現実的であるのを解消するため、効率的なギャブスサンプリングのヒューリスティクスを開発すること。
• リンクを考慮したトピックモデルが、tf.idf や標準LDAといった従来手法に比べて分類性能を向上させることを示すこと。
• モデルから推定されたリンク重みがトピック的類似性を捉え、グラフベースの学習で性能向上をもたらすことを検証すること。
• トピック間関係をサポートし、異なるリンク強度を扱える柔軟な非二部グラフ型影響モデルを提供すること。

提案手法

• 引用元から引用先へだけでなく、逆方向の影響も許容する完全な生成的非二部グラフ型連結LDAモデルを構築し、双方向的影響を実現する。
• 3つのギャブスサンプリングのブースト戦略を導入する：集約サンプリング（同じ単語の出現を一括更新）、リミットサンプリング（異なる単語ごとに更新）、スパースサンプリング（ランダムに単語をスキップ）により推論を高速化する。
• ドキュメント分類のための低次元特徴として、推定されたトピック分布を用い、生テキストやtf.idf表現に代わる。
• モデルが学習したリンク重み（χ）をスタックドグラフィカル学習におけるエッジ特徴として活用し、メタラーニングフレームワークでの性能向上を図る。
• 実世界のウェブコーパス（最大10万ドキュメント、1200万ページ）にモデルを適用し、WekaのBayesNetおよびC4.5分類器を用いてAUCで評価する。
• 収束品質を損なわずにメモリおよび時間計算量を削減するため、再構成されたストレージおよび更新メカニズムを用いたコラプスドギャブスサンプリングを採用する。

実験結果

リサーチクエスチョン

• RQ1 生成的トピックモデル（LDA）を、ハイパーリンク構造を統合しながら大規模なウェブドキュメントコレクションに効果的にスケーリングできるか？
• RQ2 実際のウェブリンクダイナミクスを反映するため、文書間の双方向的影響をトピックモデルでどのようにモデリングできるか？
• RQ3 LDAのギャブスサンプリングを、尤度や分類精度に顕著な損失を伴わず、著しく高速化できるか？
• RQ4 連結LDAモデルが推定するリンク重みは、スタックドグラフィカル学習のようなグラフベース分類手法の性能を向上させるか？
• RQ5 連結LDAモデルの性能向上は、異なる分類器や評価指標に対して一貫して有効であるか？

主な発見

• WekaのBayesNet分類器を用いた場合、連結LDAモデルは標準LDAに比べてAUCで4%向上し、SVMを用いたtf.idfに比べて18%向上する。
• 提案されたギャブスサンプリングのヒューリスティクス（集約、リミット、スパースサンプリング）により、尤度および分類AUCの両方で1%未満の低下を伴いながら、5–10倍の高速化が達成された。
• ℓ=10のスパースサンプリングでは、9.5倍の高速化とAUCの2%低下に留まり、高い効率-精度トレードオフを示した。
• 連結LDAが推定するリンク重み（χ）は、スタックドグラフィカル学習の性能を顕著に向上させ、共引用ベースの重みに比べて平均で3%優れている。
• エッジ重みの計算にグラフを逆転させると、連結LDAのχ重みを用いた場合に性能が低下するため、影響モデリングにおいて方向性が重要であることが示された。
• モデルの性能は繰り返し実行において安定しており、AUCの分散は0.015未満に保たれ、一貫性があり信頼できる結果であることが確認された。