[論文レビュー] Parallelizing Word2Vec in Shared and Distributed Memory

Shihao Ji, Nadathur Satish+2 more|arXiv (Cornell University)|Apr 15, 2016

Topic Modeling参考文献 17被引用数 21

ひとこと要約

この論文は、ミニバッチ処理と共有ネガティブサンプリングを用いて、メモリ帯域幅に依存するベクトル-ベクトル演算を行列乗算に置き換えることで、高性能でスケーラブルな word2vec 実装を提案する。これにより、現代のマルチコアおよび分散アーキテクチャを効率的に活用できる。本手法は32ノードでニアーリニアスケーリングを達成し、1秒間に1億1000万語以上を処理するが、精度の低下は最小限に抑えられ、10億語のベンチマークにおいて、これまでで最も高速な word2vec 実装である。

ABSTRACT

Word2Vec is a widely used algorithm for extracting low-dimensional vector representations of words. It generated considerable excitement in the machine learning and natural language processing (NLP) communities recently due to its exceptional performance in many NLP applications such as named entity recognition, sentiment analysis, machine translation and question answering. State-of-the-art algorithms including those by Mikolov et al. have been parallelized for multi-core CPU architectures but are based on vector-vector operations that are memory-bandwidth intensive and do not efficiently use computational resources. In this paper, we improve reuse of various data structures in the algorithm through the use of minibatching, hence allowing us to express the problem using matrix multiply operations. We also explore different techniques to distribute word2vec computation across nodes in a compute cluster, and demonstrate good strong scalability up to 32 nodes. In combination, these techniques allow us to scale up the computation near linearly across cores and nodes, and process hundreds of millions of words per second, which is the fastest word2vec implementation to the best of our knowledge.

研究の動機と目的

• メモリ帯域幅に依存するベクトル-ベクトル演算（レベル1 BLAS）に依存する従来の word2vec 実装の非効率性を解消し、現代のマルチコアおよびマニーコアプロセッサを十分に活用する。
• 確率的勾配降下法（SGD）に内在する逐次的依存性を克服し、収束性や精度を損なわずに並列計算を可能にする。
• 通信オーバーヘッドを最小限に抑え、高いスループットを実現する多ノード間での効率的スケーリングを実現する分散 word2vec システムを設計する。
• 元の word2vec と同等の予測性能を維持しつつ、CPUクラスタ上で画期的な高速な学習速度を達成する。

提案手法

• 従来の SGD 更新をミニバッチ処理に置き換え、複数の語ペアを一度にバッチ処理することで、レベル1 BLAS 演算をレベル3 BLAS の行列乗算に変換し、データ再利用性とハードウェア利用効率を向上させる。
• ミニバッチ間で共有ネガティブサンプルを用いることで、重複計算を削減し、モデル更新の効率を向上させる。
• 分散ノード間で同期的なモデル更新戦略を実装し、通信と計算のバランスを取るために調整可能な同期頻度を導入する。
• AdaGrad や RMSProp などの複雑なスケジューリング手法を避けるために、学習率を単純に調整する手法を適用し、ノード数の増加に伴う収束速度の維持を図る。
• モデル更新頻度の低減とサブモデル同期の活用により、分散クラスタにおけるネットワークトラフィックを制限し、通信を最適化する。
• Intel Broadwell および Knight's Landing の現代の CPU に内蔵されたベクトル命令および乗算-加算命令を活用し、行列演算の高速化とパフォーマンス向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 ミニバッチ処理と共有ネガティブサンプリングにより、word2vec をレベル1 BLAS からレベル3 BLAS への演算に効果的に変換し、ハードウェア利用効率を向上させることができるか？
• RQ2 収束性と精度を損なわず、共有メモリおよび分散メモリシステム上で word2vec を効率的に並列化できるか？
• RQ3 ノード数の増加に伴い、モデル更新頻度と通信コストの最適なトレードオフは何か？
• RQ4 複雑な適応的最適化手法を用いずに、単純な学習率調整戦略が収束性と予測性能を維持できるか？
• RQ5 提案手法は、数億語/秒の処理速度を達成しつつ、コアおよびノードの数に対してニアーリニアスケーリングをどの程度達成できるか？

主な発見

• 提案手法は、最大16ノードの Intel Broadwell および8ノードの Intel Knight's Landing でニアーリニアスケーリングを達成し、スループットを2000万から1億1000万語/秒まで向上させた。
• 32ノードの Broadwell で、1秒間に1億1000万語を処理し、語の類似度精度が1%低下（63.2 vs. 64.0）し、語の類似度タスクで31.1（対象：32.4）を達成した。これにより、高いスループットと最小限の精度損失を実現した。
• 4ノードの Broadwell での実装は、4ノードの NVIDIA Titan-X GPU を搭載した BIDMach の性能（2000万語/秒）と同等であり、CPU 基盤の高性能さを示した。
• 16ノードの Knight's Landing では、1秒間に9470万語を処理し、マニーコアアーキテクチャでも高い効率性を示した。
• 16ノードを超えると、モデル同期頻度の増加に伴いスケーリングの劣化が見られたが、32ノードでも1億語/秒を超えるスループットを維持し、妥当な精度を達成した。
• 提案手法は、元の word2vec モデルと同等の予測性能を維持しており、32ノードの Broadwell で語の類似度スコア63.2、語の類似度タスクスコア31.1を達成した。これにより、高速化がモデル品質を損なわないことが確認された。