[論文レビュー] Gated Word-Character Recurrent Language Model

Yasumasa Miyamoto, Kyunghyun Cho|arXiv (Cornell University)|Jun 6, 2016

Topic Modeling参考文献 21被引用数 43

ひとこと要約

本稿では、語彙レベルと文字レベルの表現を適応的ゲートを用いて統合することで、言語モデルの性能を向上させるゲーテッド語-文字再帰的言語モデルを提案する。文字レベルの符号化に双方向LSTMを活用し、学習可能なゲート機構を導入することで、Penn Treebank、BBC、IMDBの各データセットにおいて、より低いパープレキシティを達成した。特に、希少語や未知語に対して優れた性能を示した。

ABSTRACT

We introduce a recurrent neural network language model (RNN-LM) with long short-term memory (LSTM) units that utilizes both character-level and word-level inputs. Our model has a gate that adaptively finds the optimal mixture of the character-level and word-level inputs. The gate creates the final vector representation of a word by combining two distinct representations of the word. The character-level inputs are converted into vector representations of words using a bidirectional LSTM. The word-level inputs are projected into another high-dimensional space by a word lookup table. The final vector representations of words are used in the LSTM language model which predicts the next word given all the preceding words. Our model with the gating mechanism effectively utilizes the character-level inputs for rare and out-of-vocabulary words and outperforms word-level language models on several English corpora.

研究の動機と目的

• 語彙レベルの言語モデルが希少語や未知語（OOV）を処理する際の限界を克服するため、文字レベルの情報を統合する。
• 語彙レベルの埋め込み表現による語彙的構造情報の損失を、サブワードレベルの文字表現を組み込むことで是正する。
• 入力語の特徴に基づき、語彙レベルと文字レベルの表現のバランスを適応的に制御できる学習可能なゲート機構を開発する。
• 各語に対して最も情報量の多い表現を選択することで、多様なコーパスにおける言語モデル性能を向上させる。
• ゲーティング機構が、混合比の手動チューニングを必要とせずに、文字レベルの入力を効果的に活用できることを実証する。

提案手法

• 各語の文字レベルシーケンスを双方向LSTMで符号化し、密なベクトル表現に変換する。
• 語のインデックスを高次元の語彙ベクトルに写像する学習可能な語のルックアップテーブルを用いる。
• シグモイドゲートを用いた統合機構を適用し、2つの表現を融合する：$\mathbf{x}_{w_t} = (1 - g_{w_t}) \mathbf{x}^{\text{word}}_{w_t} + g_{w_t} \mathbf{x}^{\text{char}}_{w_t}$、ここで $g_{w_t} = \sigma(\mathbf{v}_g^\top \mathbf{x}^{\text{word}}_{w_t} + b_g)$。
• 2段階の事前学習戦略を導入：最初に語彙レベルの入力のみでmエポック学習し、次に文字レベルの入力のみでmエポック学習した後、両者を同時に学習する。
• 初期学習ダイナミクスの安定化のため、最初のmエポックでは固定学習率1を、次のmエポックでは0.1を用いる。
• 標準的なLSTM言語モデルを採用し、交差エントロピー損失と語彙上でのソフトマックス出力を用いる。

実験結果

リサーチクエスチョン

• RQ1 語彙レベルと文字レベルの表現のゲーテッド統合機構は、純粋な語彙レベルモデルと比較して、言語モデル性能を向上させることができるか？
• RQ2 適応的ゲートは、希少語やOOV語に対して文字レベルの表現を優先的に学習するか？その結果、モデルのロバスト性が向上するか？
• RQ3 事前学習がゲーティング値の分布および全体的なモデル性能に与える影響は何か？
• RQ4 文字レベルの表現は、低頻度語や未観測語において語彙レベルのベクトル推定が不足するのをどの程度補うか？
• RQ5 固定混合比と比較して、学習可能なゲート機構は語彙と文字の入力のバランスをより効果的に制御できるか？

主な発見

• 事前学習を施したゲーテッド語-文字モデルは、Penn TreebankおよびIMDB映画レビュー・データセットで、語彙レベルおよび文字レベルのベースラインを上回る、最小のパープレキシティを達成した。
• BBCデータセットでは、事前学習なしのモデルが最小のパープレキシティを達成しており、事前学習が常に必要であるとは限らず、データセットの特性に依存する可能性を示している。
• BBCおよびIMDBにおいて、OOVトークン＜unk＞に対して顕著に高いゲーティング値が割り当てられており、未知語に対して文字レベルの表現が効果的に活用されていることが示された。
• ゲーティング値は一般的に低いが、文字レベルの語ベクトルのL2ノルムは顕著に高い（IMDBの上位1000語で平均52.77 vs. 6.27）ため、ゲートがスケール差を補正していることがわかる。
• 事前学習により、語の頻度とゲーティング値の相関が低減され、語彙と文字表現の初期化がよりバランスの取れたものになっていることが示された。
• 適応的ゲート機構により、データ駆動型の表現混合を学習可能となり、ゲート値の手動ハイパーパramータチューニングの必要性が低減された。