[論文レビュー] Character-Word LSTM Language Models

Lyan Verwimp, Joris Pelemans+2 more|arXiv (Cornell University)|Apr 10, 2017

Natural Language Processing Techniques参考文献 21被引用数 18

ひとこと要約

この論文では、語彙レベルと文字レベルの埋め込みを連結することで言語モデル性能を向上させる、キャラクターワードLSTM（CW-LSTM）言語モデルを提案する。サブワード情報を取り入れることで、ベースラインの語彙レベル言語モデルと比較して、オランダ語では最大4.57%、英語では2.77%のパープレキシティ低減を達成するとともに、特にレア語と未知語に対してモデルパラメータを削減する。

ABSTRACT

We present a Character-Word Long Short-Term Memory Language Model which both reduces the perplexity with respect to a baseline word-level language model and reduces the number of parameters of the model. Character information can reveal structural (dis)similarities between words and can even be used when a word is out-of-vocabulary, thus improving the modeling of infrequent and unknown words. By concatenating word and character embeddings, we achieve up to 2.77% relative improvement on English compared to a baseline model with a similar amount of parameters and 4.57% on Dutch. Moreover, we also outperform baseline word-level models with a larger number of parameters.

研究の動機と目的

• 語彙レベル言語モデルが、訓練データの不足と語彙構造の欠如により、まれな語と未知語（OOV）語の処理に限界を示す問題に対処する。
• サブワード（文字レベル）情報を利用することで、構造的類似性を捉え、頻度の低い語と未知語のモデリングを改善する。
• 語埋め込みサイズを縮小することで、パラメータ数を削減するが、性能を損なわずに、語埋め込みと文字埋め込みを統合する。
• 文字埋め込みサイズ、順序（順方向、逆方向、両方）、重み共有、モデルアーキテクチャが言語モデリング性能に与える影響を調査する。
• 文字レベル情報がOOV語の確率推定を向上させ、リソースが限られた状況下での一般化性能を向上させることを示す。

提案手法

• 事前学習済み語埋め込みと文字埋め込みを連結し、LSTMに供給するための統合的キャラクター語表現を形成する。
• 文字を順方向および／または逆方向に処理することで、双方向の文字表現を用い、語彙的パターンを捉える。
• 文字間で重み共有を適用することで、文字埋め込み行列のサイズを縮小し、モデルの複雑さを低減する。
• 語埋め込みサイズを段階的に縮小することで、埋め込みの合計次元数を一定に保つ。
• 標準的な言語モデリング目的関数を用いて、英語（PTB）およびオランダ語（CGN）のデータセットでLSTMを学習する。
• 文字埋め込み層への入力として、文字レベルのワンホットベクトルを用い、順序を保持することで、モデルがサブワードパターンを学習できるようにする。

実験結果

リサーチクエスチョン

• RQ1 同じパrameter数の語彙レベル言語モデルと比較して、語と文字の埋め込みを統合することで、パープレキシティが向上するか？
• RQ2 文字レベル情報を取り入れることで、パラメータ数を削減しながら性能を維持または向上させられるか？
• RQ3 文字処理の順序（順方向、逆方向、両方）がモデル性能およびパープレキシティに与える影響は？
• RQ4 標準的な語彙レベル言語モデルと比較して、OOV語の確率推定はどの程度向上するか？
• RQ5 文字間で重み共有を適用することで、モデルサイズが削減され、性能に顕著な低下を来さないか？

主な発見

• 同じパラメータ数のベースライン語彙レベル言語モデルと比較して、CW-LSTMモデルは英語で2.77%、オランダ語で4.57%の相対的パープレキシティ低減を達成した。
• より多くのパラメータを有する語彙レベル言語モデルよりも優れた性能を示し、文字情報が表現の効率性を向上させることを実証した。
• 文字を逆方向（逆順）に処理すると、順方向処理よりもパープレキシティが低くなるが、順方向および逆方向の両方を組み合わせた場合に最も優れた結果が得られた。
• 語埋め込みサイズを縮小することでパラメータ数を削減したが、文字埋め込みの語彙が小さいため、性能を維持した。
• OOV語の直後にターゲット語を割り当てるケースで、CW-LSTMモデルは語彙レベルモデルと比較して17,483件のケースで高い確率を割り当てた（語彙レベルモデルでは10,724件）。これは、OOV語の処理が向上したことを確認するものである。
• 文字間で重み共有を適用することでモデルサイズが縮小したが、パープレキシティにわずかな増加が生じた。これは、効率性と性能のトレードオフを示している。