[論文レビュー] A Fast and Simple Algorithm for Training Neural Probabilistic Language Models

Andriy Mnih, Yee Whye Teh|arXiv (Cornell University)|Jun 27, 2012

Natural Language Processing Techniques参考文献 21被引用数 311

ひとこと要約

この論文では、正規化を明示的に行わないように、肯定的なターゲット語とノイズサンプルを対比するノイズ対比推定（NCE）を用いた、ニューラル確率的言語モデル（NPLM）の高速で単純な訓練アルゴリズムを提案する。この手法により、訓練時間を10倍以上短縮でき、週単位の訓練が数時間で可能になる。また、Microsoft Research 文章補完チャレンジなどのベンチマークタスクにおいて、性能を維持または向上させる。

ABSTRACT

In spite of their superior performance, neural probabilistic language models (NPLMs) remain far less widely used than n-gram models due to their notoriously long training times, which are measured in weeks even for moderately-sized datasets. Training NPLMs is computationally expensive because they are explicitly normalized, which leads to having to consider all words in the vocabulary when computing the log-likelihood gradients. We propose a fast and simple algorithm for training NPLMs based on noise-contrastive estimation, a newly introduced procedure for estimating unnormalized continuous distributions. We investigate the behaviour of the algorithm on the Penn Treebank corpus and show that it reduces the training times by more than an order of magnitude without affecting the quality of the resulting models. The algorithm is also more efficient and much more stable than importance sampling because it requires far fewer noise samples to perform well. We demonstrate the scalability of the proposed approach by training several neural language models on a 47M-word corpus with a 80K-word vocabulary, obtaining state-of-the-art results on the Microsoft Research Sentence Completion Challenge dataset.

研究の動機と目的

• 中程度のデータセットでさえも数週間もかかる、ニューラル確率的言語モデル（NPLM）の著しく長い訓練時間を解消すること。
• 各ステップで語彙全体の和を取る必要があるNPLMの尤度勾配における明示的正規化に起因する計算上のボトルネックを克服すること。
• 重要度サンプリングなどの既存の代替手法よりも、高速かつ安定した訓練アルゴリズムを開発すること。
• 4700万語のコーパスに8万語の語彙を含むような、大規模コーパスにおけるNPLMのスケーラブルな訓練を可能にすること。
• 提案手法を用いて、Microsoft Research 文章補完チャレンジで最先端の性能を達成すること。

提案手法

• NPLMにおける標準的な正規化された尤度目的関数を、未正規化分布の推定に用いられる手法であるノイズ対比推定（NCE）に置き換える。
• 各真のターゲット語を、事前に定義されたノイズ分布から抽出したノイズサンプルの集合と対比してモデルを訓練する。
• 真のターゲット語とノイズを区別する二値分類の目的関数を用い、全正規化項を計算する必要がなくなる。
• 勾配降下法を用いてNCEの目的関数を最適化し、真の単語と少数のノイズサンプルのみを用いて勾配を効率的に計算する。
• 再重み付けや重要度サンプリング補正を必要としないため、訓練が簡素化され、安定性が向上する。
• ノイズ分布は通常、語彙上での一様分布または単純なユニグラムモデルが選ばれ、計算コストが低い。

実験結果

リサーチクエスチョン

• RQ1 ノイズ対比推定（NCE）は、性能を低下させることなく、ニューラル確率的言語モデル（NPLM）の訓練時間を著しく短縮できるか？
• RQ2 提案されたNCEベースの訓練手法は、重要度サンプリングや他の正規化フリーの代替手法と比べて、効率性と安定性においてどのように差をつけるか？
• RQ3 NCEベースのアルゴリズムは、大規模な語彙とコーパスを伴う大規模言語モデル化タスクにどの程度スケーラブルに適用できるか？
• RQ4 この手法は、Penn Treebank や Microsoft Research 文章補完チャレンジのような標準的な言語モデルベンチマークで、競争力あるか、あるいは最先端の性能を達成できるか？
• RQ5 NCE手法が安定的かつ効果的に収束するには、どの程度のノイズサンプルが必要か？また、重要度サンプリングと比べてどう異なるか？

主な発見

• NCEベースの訓練アルゴリズムにより、NPLMの訓練時間が10倍以上短縮され、数週間かかっていた訓練が数時間で可能になった。
• Microsoft Research 文章補完チャレンジにおいて、最先端の性能を達成し、以前のモデルを上回った。
• 重要度サンプリングよりも安定的かつ効率的であり、良好な性能を得るために必要なノイズサンプル数も著しく少なかった。
• Penn Treebankコーパスでは、言語モデル品質（パープレキシティで測定）を維持しながら、訓練時間を著しく短縮した。
• 4700万語のコーパスに8万語の語彙を含む大規模なデータセットに対しても、このアプローチが成功した。これは、大規模NLPアプリケーションへの実用可能性を示している。
• NCEの使用により、各訓練ステップで語彙全体の和を取る明示的正規化の必要がなくなり、その計算コストが回避された。