[論文レビュー] A Study on Neural Network Language Modeling

Dengliang Shi|arXiv (Cornell University)|Aug 24, 2017

Natural Language Processing Techniques参考文献 5被引用数 8

ひとこと要約

本論文は、ニューラルネットワーク言語モデル（NNLM）の包括的分析を提供し、フィードフォワード、再帰的、LSTMベースのアーキテクチャに加え、重要度サンプリング、語類、キャッシュ、双方向RNNといった主な改善手法を評価している。モデルアーキテクチャと知識表現の根本的限界を特定し、NNLMが真の言語的知識を表現するのではなく訓練データの分布を近似していると主張し、動的学習と構造的ニューラルネットワークを用いた今後の方向性を提案している。

ABSTRACT

An exhaustive study on neural network language modeling (NNLM) is performed in this paper. Different architectures of basic neural network language models are described and examined. A number of different improvements over basic neural network language models, including importance sampling, word classes, caching and bidirectional recurrent neural network (BiRNN), are studied separately, and the advantages and disadvantages of every technique are evaluated. Then, the limits of neural network language modeling are explored from the aspects of model architecture and knowledge representation. Part of the statistical information from a word sequence will loss when it is processed word by word in a certain order, and the mechanism of training neural network by updating weight matrixes and vectors imposes severe restrictions on any significant enhancement of NNLM. For knowledge representation, the knowledge represented by neural network language models is the approximate probabilistic distribution of word sequences from a certain training data set rather than the knowledge of a language itself or the information conveyed by word sequences in a natural language. Finally, some directions for improving neural network language modeling further is discussed.

研究の動機と目的

• 小型コーパス上で、FNNLM、RNNLM、LSTM-RNNLMといった異なるニューラルネットワーク言語モデルアーキテクチャを体系的に評価すること。
• 重要度サンプリング、語類、キャッシュ、双方向RNNといった主な最適化手法の影響を、モデルアーキテクチャとは独立して分離して評価すること。
• NNLMのモデルアーキテクチャと知識表現の観点から、動的学習および意味理解の観点で根本的な制限がどの程度存在するかを調査すること。
• 変化しないニューラルネットワークを用いたオブジェクト・サイン関係の符号化とモデリングを可能にする、現在の制約を克服するための今後の研究方向性を検討すること。

提案手法

• ブラウンコーパスを用いた標準的なトレーニングおよび評価パイプラインを採用し、主にパープレキシティ（PPL）を指標として使用する。
• 全語彙上でのソフトマックスの近似により、トレーニング中の計算コストを低減するため、重要度サンプリングを適用する。
• 希少語をクラスタにグループ化することで語彙サイズを縮小し、一般化性能を向上させるために語類を用いる。
• 隠れ状態を格納して再利用することで、再計算を回避し、推論速度を向上させるキャッシュを実装する。
• 過去および未来の単語からの文脈を捉えるために、双方向RNN（BiRNN）を導入し、文脈モデリングを強化する。
• 変化しないニューラルネットワークの一般化アーキテクチャ（図5）を提案し、固定パラメータを有するより大規模で複雑なモデルをサポートすることを目的とする。

実験結果

リサーチクエスチョン

• RQ1 小型コーパス上でのFNNLM、RNNLM、LSTM-RNNLMといった異なるニューラルネットワークアーキテクチャのパープレキシティおよびトレーニング効率における性能はいかがなものか？
• RQ2 重要度サンプリング、語類、キャッシュ、BiRNNといった各手法が、NNLMの性能に与える個別の寄与度は、モデルアーキテクチャとは独立して評価した場合、どの程度か？
• RQ3 現在のNNLMアーキテクチャの制限は、新規データからの動的学習能力にどの程度影響を及えるのか？
• RQ4 NNLMが表現する知識は真の言語的知識と見なせるものか、それとも訓練データの統計的近似に過ぎないのか？
• RQ5 オブジェクト・サイン関係をモデリングし、動的かつスケーラブルな学習を可能にするために、どのようなアーキテクチャ的革新が可能か？

主な発見

• ブラウンコーパス上では、RNNLMおよびLSTM-RNNLMがFNNLMをパープレキシティの観点で上回ることはなく、モデルの複雑さが必ずしも小さなデータセットでは利点にならないことを示している。
• キャッシュはパープレキシティに影響を与えずに推論速度を著しく向上させ、運用環境における価値を示している。
• 語類の使用により、語彙外語の問題が軽減され、特に希少語の一般化性能が向上している。
• 双方向RNNは過去および未来の文脈を捉えることで性能を向上させているが、小規模な設定ではその向上は限定的である。
• 動的学習（新規データで再トレーニング）を施したLSTM-RNNLMは、静的再トレーニング（237.93）よりも低いパープレキシティ（174.57）を達成しており、柔軟性の重要性が浮き彫りになっている。
• 根本的な制限は知識表現にあり、NNLMは訓練データの確率的分布しかモデル化しておらず、語の意味的・参照的意味は捉えていない。