[論文レビュー] LightLDA: Big Topic Models on Modest Compute Clusters

Jinhui Yuan, Fei Gao+7 more|arXiv (Cornell University)|Dec 4, 2014

Topic Modeling参考文献 1被引用数 15

ひとこと要約

LightLDA は、8台の標準マシンを用いて、100万トピックおよび100万語の語彙（1兆パラメータ）を持つ巨大トピックモデルの学習を可能にした。新規の O(1) メトロポリス・ハスティングスサンプラー、構造に配慮したモデル並列処理、および微分データ構造を採用。最良の収束速度とメモリ効率を達成し、学習時間を 180 時間（8 台）から 60 時間（24 台）に短縮。これにより、大規模クラスタに依存せずに、1兆パラメータのモデルが実用可能になった。

ABSTRACT

When building large-scale machine learning (ML) programs, such as big topic models or deep neural nets, one usually assumes such tasks can only be attempted with industrial-sized clusters with thousands of nodes, which are out of reach for most practitioners or academic researchers. We consider this challenge in the context of topic modeling on web-scale corpora, and show that with a modest cluster of as few as 8 machines, we can train a topic model with 1 million topics and a 1-million-word vocabulary (for a total of 1 trillion parameters), on a document collection with 200 billion tokens -- a scale not yet reported even with thousands of machines. Our major contributions include: 1) a new, highly efficient O(1) Metropolis-Hastings sampling algorithm, whose running cost is (surprisingly) agnostic of model size, and empirically converges nearly an order of magnitude faster than current state-of-the-art Gibbs samplers; 2) a structure-aware model-parallel scheme, which leverages dependencies within the topic model, yielding a sampling strategy that is frugal on machine memory and network communication; 3) a differential data-structure for model storage, which uses separate data structures for high- and low-frequency words to allow extremely large models to fit in memory, while maintaining high inference speed; and 4) a bounded asynchronous data-parallel scheme, which allows efficient distributed processing of massive data via a parameter server. Our distribution strategy is an instance of the model-and-data-parallel programming model underlying the Petuum framework for general distributed ML, and was implemented on top of the Petuum open-source system. We provide experimental evidence showing how this development puts massive models within reach on a small cluster while still enjoying proportional time cost reductions with increasing cluster size, in comparison with alternative options.

研究の動機と目的

• 大規模なコンピューティングクラスタではなく、一般的なコンピューティングクラスタで、数千億のパラメータを持つ巨大トピックモデルの学習を可能にすること。
• 大多数の研究者や実務家がアクセスできない大規模な機械学習システムの高コストを克服すること。
• モデル品質を損なわせることなく、分散 LDA 推論において高い収束速度とメモリ効率を達成すること。
• 効率的なアルゴリズム設計とシステム最適化が、小規模クラスタでも大規模モデルを実用可能にする可能性を示すこと。

提案手法

• モデルサイズに依存しない、慎重に設計された提案確率を備えた O(1) 様式のメトロポリス・ハスティングスサンプリングアルゴリズムを提案。これはギブスサンプリングよりも高速な収束を達成。
• トピックモデルの依存関係を活用して通信およびメモリオーバーヘッドを最小限に抑える、構造に配慮したモデル並列処理を採用。
• 高頻度語と低頻度語を分離することで最適なメモリ使用と高い推論速度を実現する微分データ構造を導入。
• パラメータサーバーを介してバウンデッド非同期データ並列処理を用いて、大規模データの効率的な分散処理を実現。
• Petuum フレームワーク上でシステムを実装。一般の分散機械学習を想定したモデル並列およびデータ並列プログラミングモデルを活用。
• 文書と語の提案を交互に繰り返すサイクル提案を採用。これにより、モデル空間の探索が向上し、文書と語の表現がバランスよく保たれる。

実験結果

リサーチクエスチョン

• RQ1 8 台のマシンで構成されるクラスタ上で、1 兆パラメータを持つトピックモデルを効率的に学習できるか？
• RQ2 O(1) メトロポリス・ハスティングスサンプラーは、収束速度とメモリ効率において、最先端のギブスサンプリングを上回ることができるか？
• RQ3 大規模トピックモデルにおいて、通信およびメモリ使用量を最小限に抑えるためのモデル並列処理の設計法は何か？
• RQ4 高頻度語と低頻度語のハイブリッドデータ構造は、大規模モデルのメモリ内保持を可能にしつつ、高い性能を維持できるか？
• RQ5 バウンデッド非同期データ並列処理により、クラスタサイズの増加に比例してスループットが向上し、収束性を損なわないか？

主な発見

• LightLDA は、2000億トークンのデータを用いて、100万トピック、100万語の語彙を持つ LDA モデル（1兆パラメータ）を 8 台のマシンで学習。180 時間で完了。
• 1 台の 20 コアマシンあたり、1 時間に 5000 万ドキュメント（1 ドキュメントあたり 200 トークン）のスループットを達成。これまでは達成できなかった性能。
• LightLDA の O(1) メトロポリス・ハスティングスサンプラーは、最先端のギブスサンプリングよりも、実時間でほぼ 1 時間分の収束速度が速かった。
• LightLDA のサイクル提案は、ゴールドスタンダードとされる SparseLDA と同等のモデル品質を達成しながら、はるかに高速だった。
• 学習時間はクラスタサイズに比例して短縮され、8 台（180 時間）から 24 台（60 時間）に短縮された。
• 微分データ構造により、モデルがメモリ内に収容されつつも、高い推論速度を維持。均一なデータ構造による性能低下を回避した。