[論文レビュー] Scaling Recurrent Neural Network Language Models

Will Williams, Niranjani Prasad+3 more|arXiv (Cornell University)|Feb 2, 2015

Topic Modeling参考文献 10被引用数 13

ひとこと要約

この論文は、GPUで訓練された大規模な再帰的ニューラルネットワーク言語モデル（RNNLM）がn-gramモデルよりも顕著に低いパープレキシティを達成することを示している。最大のRNNLM（nstate 4096）は、Billion Word Benchmarkで42.4という新しい最先端のパープレキシティを達成した。このモデルは自動音声認識（ASR）で語彙誤り率（WER）を18%低減し、機械翻訳でBLEUスコアを1ポイント向上させ、語彙予測で相対的に17%のヒット率向上を達成した。これは、RNNLMが計算コストが高かろうと、スケーリング効果を発揮し、n-gramを上回ることを証明している。

ABSTRACT

This paper investigates the scaling properties of Recurrent Neural Network Language Models (RNNLMs). We discuss how to train very large RNNs on GPUs and address the questions of how RNNLMs scale with respect to model size, training-set size, computational costs and memory. Our analysis shows that despite being more costly to train, RNNLMs obtain much lower perplexities on standard benchmarks than n-gram models. We train the largest known RNNs and present relative word error rates gains of 18% on an ASR task. We also present the new lowest perplexities on the recently released billion word language modelling benchmark, 1 BLEU point gain on machine translation and a 17% relative hit rate gain in word prediction.

研究の動機と目的

• モデルサイズ、学習データサイズ、計算コスト、メモリ使用量の観点からRNNLMのスケーリング特性を調査すること。
• 高い計算およびメモリ要件により、長年の間、大規模なRNNの訓練が困難であったという歴史的制限を克服すること。
• 標準ベンチマーク上でn-gramモデルよりも顕著に低いパープレキシティを達成できるかどうかを実証すること。
• 自動音声認識（ASR）、機械翻訳（MT）、モバイル語彙予測などの実用的応用分野における大規模RNNLMの性能を評価すること。
• データ並列化とメモリ最適化技術を用いて、GPU上で効率的にRNNLMを訓練できることを示し、従来のモデルよりもパrameter数を減らして最先端の性能を達成できること。

提案手法

• ニューストランスクリプト、Wikipedia、ウェブクロールドニュースから成る80億語の複合コーパスを用い、データ並列化を適用したGPUベースの訓練によりRNNLMを学習した。
• 16文のローリングバッファを用いたエントロピーフィルタリングを実施し、文間の文脈を保持しながら低品質なテキストを除去することで、文単位のフィルタリングなしにコーパスの品質を維持した。
• Billion Word Benchmarkにおけるレアワードの処理のため、77万語の5-gramモデルへの補間を施した64k語彙のRNNLMを採用した。
• 重みの接続（入力層から隠れ層、および隠れ層から出力層への転置）を統合し、8ビット量子化、残差層を用いたモデル圧縮技術を採用し、モバイル語彙予測用に10MBの小型モデルに縮小した。
• Kaldiベースのシステムでリアルタイム推論を可能にする、高度に最適化された内部ツールを用いてASRのラティスを再スコアリングした。
• 隠れ状態サイズ（256から4096まで）を段階的に増加させたRNNLMを訓練し、複数のベンチマークでパープレキシティ、WER、BLEU、ヒット率を測定した。

実験結果

リサーチクエスチョン

• RQ1 パープレキシティの低減という観点から、RNNLMはモデルサイズおよび学習データサイズの増加に伴いどのようにスケーリングするか？
• RQ2 高いメモリおよび計算要件があるにもかかわらず、大規模なRNNLMはGPU上で効率的に訓練可能か？
• RQ3 多様なNLPタスクにおいて、パープレキシティ、WER、BLEU、ヒット率という指標で、RNNLMはn-gramモデルを上回るか？
• RQ4 性能の向上を維持したまま、メモリ制限のある環境（例：モバイルデバイス）で実行可能なほどRNNLMを圧縮可能か？
• RQ5 n-gramモデルの性能の上限は何か？ そして、RNNLMはあらゆる規模の学習データでそれを超えることができるか？

主な発見

• nstate 4096のRNNLMは、Billion Word Benchmarkで42.4のパープレキシティを達成し、当時報告された中で最低であった。全パrameterの3%しか使用しなかったにもかかわらず、先行研究の補間モデルを上回った。
• ASRにおけるn-gram再スコアリングと比較して、RNNLMは語彙誤り率（WER）を18%相対的に低減し、IWSLT14およびen-USタスクで顕著な実用的インパクトを示した。
• 機械翻訳では、nstate 3520のRNNLMによりBLEUスコアが32.34から33.45に上昇し、1ポイントの向上を達成した。これはASR以外の分野でも有効であることを示している。
• モバイル語彙予測では、nstate 1024の10MBの量子化RNNLMがKatz-5-gramモデルに対して17%の相対的ヒット率向上を達成し、低メモリ環境でも有効であることを証明した。
• 最大のRNNLMは5-gramモデルと比較して40%以上の低いパープレキシティを達成した。著者らは、RNNLMが、学習データ量に関わらずn-gramを下回るパープレキシティを提供できると結論づけた。
• 計算およびメモリ集約的であるにもかかわらず、データ並列化と最適化技術を用いたGPUでのRNNLM訓練は実現可能であり、評価されたすべてのタスクでn-gramを上回った。