[論文レビュー] Strategies for Training Large Vocabulary Neural Language Models

Welin Chen, David Grangier+1 more|arXiv (Cornell University)|Dec 15, 2015

Natural Language Processing Techniques参考文献 24被引用数 26

ひとこと要約

この論文は、大規模語彙を持つニューラル言語モデルの学習戦略を評価・提案し、微分型ソフトマックスと自己正規化の拡張を提唱することで、尤度推定を改善する。大規模ベンチマークにおいて、階層的ソフトマックスと微分型ソフトマックスが従来のソフトマックスを上回ることを発見したが、希少語に対してはKneser-Neyが依然として優れていることから、ニューラルモデルとカウントベースのモデルの相補的な強みが浮き彫りになった。

ABSTRACT

Training neural network language models over large vocabularies is still computationally very costly compared to count-based models such as Kneser-Ney. At the same time, neural language models are gaining popularity for many applications such as speech recognition and machine translation whose success depends on scalability. We present a systematic comparison of strategies to represent and train large vocabularies, including softmax, hierarchical softmax, target sampling, noise contrastive estimation and self normalization. We further extend self normalization to be a proper estimator of likelihood and introduce an efficient variant of softmax. We evaluate each method on three popular benchmarks, examining performance on rare words, the speed/accuracy trade-off and complementarity to Kneser-Ney.

研究の動機と目的

• 大出力語彙を持つニューラル言語モデルの学習戦略を体系的に比較し、計算コストとスケーラビリティの問題に取り組む。
• さまざまな手法における学習速度、精度、希少語性能のトレードオフを評価する。
• 頻出語により多くの容量を割り当てることで、頻出語に重点を置いた新しいソフトマックスの変種である微分型ソフトマックスを提案・検証する。
• 自己正規化（希少正規化）を適切な尤度推定器に拡張し、他の手法と比較してその性能を評価する。
• ニューラルモデルと古典的なKneser-Neyカウントベースのモデルの相補性、特に希少語性能に関する相違点を調査する。

提案手法

• 標準ソフトマックスの変種として、学習可能なスケーリング機構により希少語に割り当てる容量を減らすことで計算コストを削減する微分型ソフトマックスを提案する。
• パーティション関数の更新頻度を減らすことで、自己正規化（希少正規化）を適切な尤度推定器に拡張し、不偏勾配推定を維持する。
• 単語埋め込み、複数のtanh層、最終的なソフトマックスまたは代替正規化層を備えた順方向ニューラルネットワークアーキテクチャを採用する。
• 1週間の固定トレーニング予算を設け、Penn Treebank、Gigaword、Billion Wordの3つのベンチマークで、速度/精度のトレードオフを比較する。
• ミニバッチを用いた確率的勾配降下法（SGD）を用い、収束への影響を評価するため、さまざまな初期化手法（例：PCA、ランダム）を適用する。
• 完全なソフトマックスの代わりに、ターゲットサンプリング、ノイズ対比推定（NCE）、階層的ソフトマックス（HSM）を用い、正規化の計算負荷を軽減する。

実験結果

リサーチクエスチョン

• RQ1 ソフトマックス、階層的ソフトマックス、ターゲットサンプリング、NCE、自己正規化といった、さまざまな正規化戦略は、学習速度、精度、希少語性能の観点でどのように比較されるか？
• RQ2 頻出語に重点を置いた微分型ソフトマックスは、大規模語彙において、標準ソフトマックスよりも優れた性能とより速い学習をもたらすか？
• RQ3 自己正規化を、訓練効率や精度を損なわずに適切な尤度推定器に変更できるか？
• RQ4 訓練データ量の増加に伴いモデル性能はどのように変化するか？計算制約のため、ニューラルモデルでは大規模データセットの恩恵が期待通りに得られないのか？
• RQ5 ニューラル言語モデルは希少語に対してKneser-Neyモデルを上回るのか？また、両者を効果的に組み合わせることで全体の性能を向上させられるか？

主な発見

• 微分型ソフトマックスは、頻出語に多くの容量を割り当てることで、計算量を減らし、標準ソフトマックスよりも優れた性能とより速い学習を達成する。
• Billion Wordベンチマークでは、階層的ソフトマックスが高速性のおかげで1週間の予算内でより多くの更新ステップを実行でき、標準ソフトマックスや他の手法よりも優れた性能を示した。
• Kneser-Neyカウントベースのモデルは希少語に対して非常に優れており、ニューラルモデルが希少語をより良くモデル化できるという一般的な考えに反する。
• ニューラルモデルは、期待されるほど大きな訓練データセットの恩恵を受けていない。計算制約と高い訓練コストのため、語彙数5億トークン程度でパープレクサリティの向上が頭打ちになる。
• ターゲットサンプリングとノイズ対比推定（NCE）は、標準ソフトマックスを上回れず、NCEはすべてのベンチマークで最悪の性能を示した。
• Kneser-Neyモデルとニューラルモデルを組み合わせることで優れた結果が得られ、両者には相補的な強みがある：ニューラルモデルは頻出語で優れるが、Kneser-Neyは希少語で優れる。