[論文レビュー] Alternative structures for character-level RNNs

Piotr Bojanowski, Armand Joulin+1 more|arXiv (Cornell University)|Nov 19, 2015

Natural Language Processing Techniques参考文献 20被引用数 39

ひとこと要約

本稿では、効率性と性能を向上させるために、文字レベルRNNに2つの新しいアーキテクチャ的変更を提案する：(1) 以前の単語表現に条件づけられた文字レベル表現の導入、(2) 最近の文字履歴に条件づけられた出力ソフトマックスの導入。両手法とも、特にフィンランド語やハンガリー語のような語彙が豊富で屈曲的語彙を持つ言語において、大幅に計算コストを削減しながら、大規模な文字レベルRNNと同等の性能を達成する。

ABSTRACT

Recurrent neural networks are convenient and efficient models for language modeling. However, when applied on the level of characters instead of words, they suffer from several problems. In order to successfully model long-term dependencies, the hidden representation needs to be large. This in turn implies higher computational costs, which can become prohibitive in practice. We propose two alternative structural modifications to the classical RNN model. The first one consists on conditioning the character level representation on the previous word representation. The other one uses the character history to condition the output probability. We evaluate the performance of the two proposed modifications on challenging, multi-lingual real world data.

研究の動機と目的

• 特に語彙が大きく、構造が複雑な言語において、標準的な文字レベルRNNの高い計算コストと性能の限界を解決すること。
• 文字レベルRNNにおける全結合隠れ層の非効率性を克服するために、隠れ層サイズを拡大せずにモデル容量を向上させる構造的変更を導入すること。
• 単語レベルモデルで一般的な未知語（Out-of-vocabulary, OoV）問題を軽減するため、文字レベルRNNを用いてサブワードレベルの表現を活用すること。
• 稀な語や未学習語を扱うための、サブワードユニットや単語埋め込みの代替手段として、より効率的かつスケーラブルな手法を提供すること。
• スペル訂正と言語モデル学習を統合したエンドツーエンド学習を可能にし、NLPシステムにおける断片的なパイプラインを回避すること。

提案手法

• 以前の単語の隠れ状態に条件づけられた文字表現を持つハイブリッドモデルを提案し、文字レベルRNNと単語レベルRNNを組み合わせる。
• 最近の文字履歴（例：N個の直近の文字）に条件づけられた出力ソフトマックス機構を導入することで、隠れ層サイズを拡大せずにモデル容量を向上させる。
• 固定サイズの文脈ウィンドウ（直近の文字）を用いて出力確率分布に条件づけ、長距離依存性をより効率的に学習できるようにする。
• 交差エントロピー損失を用いて、マルチリンガルで現実世界のデータ上で、エンドツーエンドにモデルを学習する。
• 提案手法を、隠れ層サイズが200および500の標準的な文字レベルRNNと比較し、小規模および大規模なモデル設定を用いる。
• 性能と計算コストのバランスを最適化するために、検証セット上で履歴ステップ数（N）の最適化を実施する。

実験結果

リサーチクエスチョン

• RQ1 文字レベルRNNを単語表現に条件づけることで、標準的な文字レベルRNNと比較して性能が向上し、計算コストが削減されるか？
• RQ2 出力ソフトマックスを最近の文字履歴に条件づけることで、隠れ層サイズや計算複雑性を増大させずにモデル容量を向上させられるか？
• RQ3 提案手法は、語彙が豊富で屈曲的語彙を持つ言語（例：フィンランド語、ハンガリー語）において、低リソース言語としての性能をどのように発揮するか？
• RQ4 これらのアーキテクチャ的変更により、文字レベルRNNと単語レベルRNNの性能格差をどの程度縮められるか？
• RQ5 これらのモデルは、別個のスペルチェックモジュールや正規化モジュールを必要とせずに、未知語やスペルのばらつきを効果的に処理できるか？

主な発見

• 混合モデル（文字＋単語表現）と条件付きモデル（履歴に条件づけられた出力）の両方とも、平均して1.36ビット/文字（BPC）の文字ごとのエントロピーを達成し、500ユニットの隠れ層を持つ大規模な文字レベルRNNと同等の性能を示した。
• 条件付きモデルは、フィンランド語やハンガリー語のような屈曲的語彙を持つ言語において、すべてのベースラインを上回り、BPCがそれぞれ1.38および1.36を達成した。これは、隠れ層サイズ500の標準的なCRNN（BPC 1.43および1.42）と比較して顕著な改善である。
• 提案手法は、大規模な隠れ層を避けることで計算コストを削減しながら、より大きな標準RNNと同等の性能を維持している。
• 平均して、条件付きモデルは隠れ層サイズ200の標準的な文字レベルRNNと比較して、BPCで12%の改善を達成し、誤差を1.61から1.36 BPCに削減した。
• 低リソース言語や付加語彙を持つ言語において、未知語率（OOVR）が顕著に低下し、標準的なCRNNではフィンランド語で6.91%であったのに対し、条件付きモデルでは1.38%にまで低下した。
• 結果から、アーキテクチャ的革新が、特に文脈に適応した条件づけ機構を組み合わせることで、文字レベルRNNと単語レベルRNNの性能格差を埋める可能性があることが示唆された。