[論文レビュー] One Billion Word Benchmark for Measuring Progress in Statistical Language Modeling

Ciprian Chelba, Tomáš Mikolov+5 more|arXiv (Cornell University)|Dec 10, 2013

Natural Language Processing Techniques被引用数 6

ひとこと要約

本論文は、統計的言語モデル手法の評価を標準化するための10億語のベンチマークコーパスを導入する。多様なモデル、特に再帰的ニューラルネットワーク（RNNs）を評価し、ベースラインのKneser-Ney 5-gramモデルに対して35%のパープレキシティ低減—これは10%の交差エントロピー低減に相当—を達成し、大規模言語モデルにおけるディープラーニングの有効性を示している。

ABSTRACT

We propose a new benchmark corpus to be used for measuring progress in statistical language modeling. With almost one billion words of training data, we hope this benchmark will be useful to quickly evaluate novel language modeling techniques, and to compare their contribution when combined with other advanced techniques. We show performance of several well-known types of language models, with the best results achieved with a recurrent neural network based language model. The baseline unpruned Kneser-Ney 5-gram model achieves perplexity 67.6; a combination of techniques leads to 35% reduction in perplexity, or 10% reduction in cross-entropy (bits), over that baseline. The benchmark is available as a code.google.com project; besides the scripts needed to rebuild the training/held-out data, it also makes available log-probability values for each word in each of ten held-out data sets, for each of the baseline n-gram models.

研究の動機と目的

• 統計的言語モデル手法の評価を標準化し、公開可能なベンチマークを確立すること。
• 大規模で現実世界のコーパスを用いて、新規な言語モデルアプローチの公平で再現可能かつスケーラブルな比較を可能にすること。
• 最小限のデータ前処理で、大規模データセット上での高度なモデル（特にRNNs）の性能向上を実証すること。
• 研究者にとっての参入障壁を下げるために、自由に利用可能なデータとベースライン結果を提供すること。
• コミュニティ全体でのベンチマークの採用を促進し、言語モデルおよびその応用分野における進歩を加速させること。

提案手法

• WMT11データセットから入手可能な公開の単語言語英語テキストを用いて、10億語のトレーニングコーパスを構築し、正規化、トークン化、重複削除を実施した。
• データを100のパーティションに分割し、1つをテスト用に確保し、残りを将来の実験用に割り当てることで、ホールドアウトテストセットを構築した。
• 標準的なn-gramスムージングを用いて、統合Kneser-Ney 5-gram、Katz 5-gram、Stupid Backoffの複数のベースライン言語モデルを評価した。
• 確率的勾配降下法を用い、学習率を0.05から0.001の範囲で変更しながら、256、512、1024の隠れユニットを持つ再帰的ニューラルネットワーク言語モデル（RNNs）をトレーニングした。
• ホールドアウトデータ上で重みを最適化することで、パープレキシティを最適化する線形補間を用いて複数のモデルを統合した。
• CPU並列処理、SIMD命令、出力パラメータ削減などの最適化技術を適用し、トレーニング時間を20〜50倍短縮することで、GPUなしの標準ハードウェア上でも大規模RNNのトレーニングを数日で可能にした。

実験結果

リサーチクエスチョン

• RQ1 10億語の大規模言語モデルベンチマークは、言語モデル研究の再現性と比較可能性をどのように向上させるか？
• RQ2 大規模データセット上での、RNNsのような高度なモデルと従来のn-gramモデルを組み合わせることで、どの程度の性能向上が達成できるか？
• RQ3 異なるニューラルネットワークアーキテクチャ（例：異なる隠れユニット数を有するRNNs）は、パープレキシティとトレーニング効率の観点でどのように比較されるか？
• RQ4 並列処理やパrameter削減などの最適化技術は、GPUなしの標準ハードウェア上で大規模RNNのトレーニングをどの程度可能にするか？
• RQ5 モデル統合戦略は最終的なパープレキシティにどのように影響するか？また、どのモデルが統合性能において最も寄与しているか？

主な発見

• 最も優れたモデルは、1024個の隠れユニットを持つ再帰的ニューラルネットワークを含む複数のモデルの組み合わせであり、テストセットでパープレキシティ51.3を達成した。
• ベースラインの統合Kneser-Ney 5-gramモデルはパープレキシティ67.6を達成し、性能向上の主な基準点となった。
• モデルの組み合わせにより、パープレキシティが35%低減され、これは10%の交差エントロピー低減（ビット単位）に相当し、顕著な性能向上を示している。
• 1024個の隠れユニットを持つ再帰的ニューラルネットワークは、すべてのn-gramベースラインを大きく上回るパープレキシティ51.3を達成した。
• 単体としての性能は悪かったが、Stupid Backoffモデルは最終的なモデル統合で比較的高い重みを獲得しており、補完的な情報を提供していることが示された。
• 最適化技術の適用により、最大のRNNモデルのトレーニング時間が数週間から約10日間に短縮され、標準ハードウェア上での大規模トレーニングが現実可能となった。