[論文レビュー] Language Models with Pre-Trained (GloVe) Word Embeddings

Victor Makarenkov, Bracha Shapira+1 more|arXiv (Cornell University)|Oct 12, 2016

Topic Modeling参考文献 6被引用数 5

ひとこと要約

本稿では、事前学習済みのGloVe単語埋め込みを用いた再帰的ニューラルネットワーク（RNN）言語モデルを提示しており、特にシーケンスモデリングにGRUユニットを活用している。次単語予測におけるコサイン距離誤差がランダムベースラインと比べて顕著に低く抑えられており、学習時間は2.5分未塔、推論時間は1秒未塔に収まっている。これにより、GloVe埋め込みとRNNを組み合わせることで言語モデリングタスクに高い有効性が示された。

ABSTRACT

In this work we implement a training of a Language Model (LM), using Recurrent Neural Network (RNN) and GloVe word embeddings, introduced by Pennigton et al. in [1]. The implementation is following the general idea of training RNNs for LM tasks presented in [2], but is rather using Gated Recurrent Unit (GRU) [3] for a memory cell, and not the more commonly used LSTM [4].

研究の動機と目的

• RNNと事前学習済みGloVe単語埋め込みを用いて、より良いシーケンス予測を実現する言語モデルを実装すること。
• コサイン距離を指標として用い、一般およびドメイン特化したテキストコーパスにおけるモデルの性能を評価すること。
• 誤差分布を用いて、モデルの予測精度をランダムベースラインと比較すること。
• 自己生成ラベルを用いた教師あり的枠組みで、最小限のラベル付きデータでこのようなモデルを学習可能であることを示すこと。
• 研究者がアプローチを拡張・検証できるように、KerasおよびTheano/TensorFlowを用いた再現可能な実装を提供すること。

提案手法

• 420億トークンのコーパスから得られた300次元および50次元の事前学習済みGloVe単語埋め込みを用い、未知語はランダムベクトルで初期化する。
• GRUベースのRNNを用いて、直前の単語の固定コンテキストウィンドウ（デフォルト10）に基づき、シーケンス内の次の単語ベクトルを予測する。
• 入力と出力のシフトされたスキームを採用し、外部ラベルが不要な教師あり学習を可能にする。
• 損失関数は平均二乗誤差（MSE）であり、最適化にRMSPropを、隠れ層に0.8のドロップアウト正則化を適用する。
• 学習にはテキストの70％、評価には30％を用い、予測された単語ベクトルと真の単語ベクトルの間のコサイン距離で誤差を測定する。
• 一般テキストとは別に、ICTIR-2015およびSIGIR-2015のプロCEEDINGSから150万トークンを用いたドメイン特化モデルも学習し、専門的テキストにおける性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 GRUベースのRNNは、事前学習済みGloVe埋め込みを用いて、次単語ベクトルを効果的に予測できるか？
• RQ2 一般およびドメイン特化テキストの両方において、モデルの予測誤差はランダムベースラインと比べてどの程度異なるか？
• RQ3 隠れユニット数（30対300）の影響は、学習時間および予測精度にどのような影響を及えるか？
• RQ4 ドメイン特化コーパスでのファインチューニングは、次単語予測におけるモデルの性能にどのような影響を与えるか？
• RQ5 この設定における学習および推論の計算効率特性はどのようなものか？

主な発見

• 300個のGRUユニットを用いたRNNモデルは、図3に示すように、ランダムベースラインと比べて次単語予測におけるコサイン距離誤差が顕著に低かった。
• 300個の隠れユニットを用いたモデルの学習には1298秒（約21.6分）を要し、テストセットにおける推論時間はわずか0.49秒であった。
• ドメイン特化コーパスでは、50個の隠れユニットを用いたモデルがさらに優れた性能を示し、誤差分布がランダム予測と明確に分離された（図4）。
• ドメイン特化モデルはわずか10秒で学習が完了し、予測には0.04秒しかかからなかった。これは、専門的タスクにおいて非常に高い効率性を示している。
• Wikipediaのアナーキズム記事を30個の隠れユニットで学習させたモデルは、300エポックで安定した性能を示し、学習時間は125秒であった。
• 事前学習済みGloVe埋め込みの使用により、ランダム初期化と比較して予測精度が顕著に向上したことが、図のすべてで誤差分布のシフトによって裏付けられた。