[論文レビュー] Character-Level Language Modeling with Hierarchical Recurrent Neural Networks

Kyuyeon Hwang, Wonyong Sung|arXiv (Cornell University)|Sep 13, 2016

Natural Language Processing Techniques参考文献 29被引用数 7

ひとこと要約

本稿では、文字レベルの言語モデルに適した階層的再帰ニューラルネットワーク（HRNN）を提案する。文字レベルの入出力と複数の時間スケールを持つRNNモジュールを組み合わせることで、長期依存関係を捉える。モデルは、Kneser-Ney 5-gram言語モデルの2%のパラメータしか使用せず、より低いパープレキシティを達成しており、標準のRNNと比較して30%少ないパラメータでエンドツーエンドの音声認識精度を向上させた。

ABSTRACT

Recurrent neural network (RNN) based character-level language models (CLMs) are extremely useful for modeling out-of-vocabulary words by nature. However, their performance is generally much worse than the word-level language models (WLMs), since CLMs need to consider longer history of tokens to properly predict the next one. We address this problem by proposing hierarchical RNN architectures, which consist of multiple modules with different timescales. Despite the multi-timescale structures, the input and output layers operate with the character-level clock, which allows the existing RNN CLM training approaches to be directly applicable without any modifications. Our CLM models show better perplexity than Kneser-Ney (KN) 5-gram WLMs on the One Billion Word Benchmark with only 2% of parameters. Also, we present real-time character-level end-to-end speech recognition examples on the Wall Street Journal (WSJ) corpus, where replacing traditional mono-clock RNN CLMs with the proposed models results in better recognition accuracies even though the number of parameters are reduced to 30%.

研究の動機と目的

• 文字レベルの言語モデル（CLMs）が語彙レベルのモデル（WLMs）に比べて性能が低いのは、より長い文脈を必要とするためである。
• モデルのサイズを増大させず、標準的な学習手順から逸脱せずに、CLMsが長期依存関係をモデル化できるようにする。
• より良い一般化性能と未知語の処理を実現するため、語彙レベルのモデリング機能を文字レベルのフレームワーク内に統合する。
• ベンチマークタスクの性能を維持または向上させながら、顕著にパラメータ数を削減する。
• エンドツーエンドの音声認識に適したリアルタイムかつ低リソースな文字レベルの言語モデルを実現する。

提案手法

• 文字レベルで動作する低レベルRNNと、語・文境界レベルで動作する高レベルRNNを組み合わせた階層的RNNアーキテクチャを提案し、異なるクロックレートを用いる。
• 全体のモデルに文字レベルの入出力を使用することで、既存のRNN CLM学習手法との互換性を保つ。
• 長期依存関係を捉えるために、低レベルおよび高レベルの両モジュールに長短期記憶（LSTM）ユニットを採用する。
• 文字系列に対する標準的な交差エントロピー損失を用いて学習し、高レベルRNNは低レベルRNNからの圧縮埋め込みを入力とする。
• 前継木構造を用いたビームサーチデコードを適用し、エンドツーエンドの音声認識にモデルを適用することで、リアルタイム推論を維持する。
• 高レベルRNNの同期信号として、語境界トークン（<w>）と文境界トークン（<s>）を用いる。

実験結果

リサーチクエスチョン

• RQ1 階層的RNNアーキテクチャにより、複数の時間スケール処理を可能にすることで、文字レベルの言語モデル性能が向上するか？
• RQ2 このようなモデルは、顕著に少ないパラメータで伝統的なn-gramモデルを上回るパープレキシティを達成できるか？
• RQ3 階層的構造を有しながらも、標準的なRNN学習手順と互換性を保てるか？
• RQ4 パラメータ数を削減した状態で、リアルタイムのエンドツーエンド音声認識に効果的に応用できるか？
• RQ5 文字レベルのフレームワーク内に語彙レベルの抽象化を統合することで、長距離依存関係のモデル化が向上するか？

主な発見

• 4x1024ユニットを有するHLSTM-Bモデルは、One Billion Word Benchmarkでパープレキシティ60.7を達成し、Kneser-Ney 5-gramモデルに比べてパラメータを2%しか使用しなくても、それを上回る性能を示した。
• HLSTM-B（4x1024）モデルは語レベルのパープレキシティ60.7を達成しており、11億個のn-gramを有する重み付きKneser-Ney 5-gramモデルの67.6よりも優れている。
• WSJ Nov’92 20K評価セットにおいて、4x1024の深層LSTM言語モデルをHLSTM-B（4x512）に置き換えることで、パラメータ数を30%に削減し、WERを7.85%から7.78%に改善した。
• HLSTM-B（4x512）モデルは語レベルのパープレキシティ73.6、WER 7.79%を達成し、わずか848万パラメータで強力な性能を示した。
• エンドツーエンドのASRにおいて、言語モデルのパープレキシティと語誤り率（WER）の間に強い相関が認められ、実用的応用における有効性が裏付けられた。
• 標準的なRNN CLM学習と互換性を維持しており、既存の学習レシピを変更せずに直接利用可能である。