[論文レビュー] Towards Topic Modeling for Big Data

Yi Wang, Xuemin Zhao+9 more|arXiv (Cornell University)|Jan 1, 2014

Complex Network Analysis Techniques被引用数 24

ひとこと要約

本稿では、10⁵個以上のトピックを含む大規模トピックモデルを、ビッグデータから学習可能なスケーラブルな階層的分散システムPeacockを提案する。これにより、産業応用における高品質なトピック特徴が可能となり、分散LDA学習、リアルタイム推論、非対称ディリクレ事前分布を用いたトピックの重複除去を組み合わせることで、検索の関連性とクリックスルーレート予測に顕著な向上が達成された。

ABSTRACT

Latent Dirichlet allocation (LDA) is a popular topic modeling technique in academia but less so in industry, especially in large-scale applications involving search engine and online advertising systems. A main underlying reason is that the topic models used have been too small in scale to be useful; for example, some of the largest LDA models reported in literature have up to 103 topics, which cover difficultly the long-tail semantic word sets. In this paper, we show that the number of topics is a key factor that can significantly boost the utility of topic-modeling systems. In particular, we show that a “big” LDA model with at least 105 topics inferred from 109 search queries can achieve a significant improvement on industrial search engine and online advertising systems, both of which serving hundreds of millions of users. We develop a novel distributed system called Peacock to learn big LDA models from big data. The main features of Peacock include hierarchical distributed architecture, real-time prediction and topic de-duplication. We empirically demonstrate that the Peacock system is capable of providing significant benefits via highly scalable LDA topic models for several industrial applications.

研究の動機と目的

• 従来のトピックモデルが、長尾の意味的語彙集合を捉えるのに不十分な10³個までのトピックにとどまることによるスケーラビリティの限界を解消すること。
• 10⁹件の検索クエリから10⁵個以上のトピックを有するLDAモデルを学習可能な、スケーラブルで分散処理可能なシステムの開発。
• 大規模モデルにおけるトピックの重複を解消することで、リアルタイムのトピック予測と高品質なトピック特徴の実現。
• 検索エンジンやオンライン広告プラットフォームなどの実世界システムに大規模トピックモデルを統合し、測定可能なパフォーマンス向上を達成すること。

提案手法

• 大規模コーパスにおけるデータ並列処理と、大規模なLDAパラメータセットにおけるモデル並列処理を統合した階層的分散アーキテクチャの設計。
• 分散学習における通信および同期のオーバーヘッドを低減するため、パイプライン処理およびロックフリー技術の活用。
• 生産規模のシステムに適した最適化された推論アルゴリズムを用いたリアルタイムトピック予測の実装。
• 非対称ディリクレ事前分布の学習を用いて、意味的に類似したトピックを除去するトピックの重複除去の実装。
• トピックの一貫性を、異なるトピック数を持つモデル間で評価するための指標として、ポイントワイズ相互情報量（PMI）の使用。
• 性能のトレンドを評価するため、大規模なクエリデータセット上でK ∈ {10², 10³, 10⁴, 10⁵} のLDAモデルを学習および評価。

実験結果

リサーチクエスチョン

• RQ1 10⁵個以上のトピックを有するLDAモデルは、小規模なモデルと比較して、産業用検索および広告システムにおける性能を顕著に向上させるか？
• RQ2 LDAモデルにおけるトピック数の増加に伴い、PMIで測定されるトピックの質はどのように変化するか？
• RQ3 ビッグデータワークロードにおいて、10⁵個以上のトピックにスケーリングするトピックモデリングにおける主な技術的課題は何か？
• RQ4 大規模トピックモデルを用いた場合、トピックの重複除去は、リtrievalおよび予測パフォーマンスの向上にどの程度効果的か？
• RQ5 大規模トピックモデルを用いた場合、産業用システムでスケーラブルにリアルタイムトピック予測を効率的にサポートできるか？

主な発見

• 10⁵個のトピックを有するLDAモデルは、10²〜10⁴個のトピックを有するモデルよりも顕著に高い平均PMIスコアを達成しており、意味的整合性および解釈可能性が優れていることが示された。
• 情報検索における平均平均精度（MAP）は、トピック数の増加に伴い向上し、約10⁵個のトピックでピークに達する。さらに、トピックの重複除去により、さらなる向上が得られた。
• 非対称ディリクレ事前分布の学習によるトピックの重複除去は、10⁶個から10⁵個にトピック数を削減した際、重複するトピックを除去することでMAPを向上させた。
• オンライン広告において、10⁵個のトピックを有するモデルは、ベースラインAUC（0.7439）と比較して最大のAUC向上を達成し、10⁴個のトピックを有するモデルを上回った。これは、トピックの重複が少ないためである。
• 10⁴個のトピックを有するモデルのパフォーマンスは、10³個のトピックを有するモデルよりも劣っており、適切な重複除去が行われない場合、モデル品質が低下することを確認した。
• 10⁹件の検索クエリから10⁵個のトピックにスケーリング可能なことが実証され、検索および広告アプリケーションの両方で一貫したパフォーマンス向上が得られた。