[論文レビュー] Word Sense Disambiguation with LSTM: Do We Really Need 100 Billion Words?

Minh Le, Marten Postma+1 more|arXiv (Cornell University)|Dec 9, 2017

Natural Language Processing Techniques参考文献 17被引用数 6

ひとこと要約

この論文は、Yuanら（2016）のLSTMベースの意味あいまい性解消（WSD）手法を、公開済みのデータセットとコードのみを用いて再現したものであり、1000億語のうち2％未満にあたる18億語のデータでさえも最先端のWSD性能を達成できることを示している。著者らは、再現可能性とさらなる研究を促進するため、すべてのコードと学習済みモデルを公開している。

ABSTRACT

Recently, Yuan et al. (2016) have shown the effectiveness of using Long Short-Term Memory (LSTM) for performing Word Sense Disambiguation (WSD). Their proposed technique outperformed the previous state-of-the-art with several benchmarks, but neither the training data nor the source code was released. This paper presents the results of a reproduction study of this technique using only openly available datasets (GigaWord, SemCore, OMSTI) and software (TensorFlow). From them, it emerged that state-of-the-art results can be obtained with much less data than hinted by Yuan et al. All code and trained models are made freely available.

研究の動機と目的

• 公開済みのデータとコードのみを用いて、Yuan ら（2016）のLSTMベースのWSD手法を再現すること。
• 極めて大きな学習コーパス（例：1000億語）が、最先端のWSD性能を達成するために本当に必要かどうかを調査すること。
• 将来的な研究とベンチマークの支援を目的として、完全に再現可能なコードと学習済みモデルを公開すること。
• 学習データの増加に伴う収益の逓減と、モデル容量の拡大における限界を分析すること。

提案手法

• GigaWord（18億語）という公開済みコーパス上でLSTM言語モデルを学習させ、文脈に依存する単語埋め込みを学習する。
• 学習済みLSTMを用いて、文内の単語の文脈ベクトルを抽出する。この際、ターゲット単語は特別なトークン$に置き換える。
• 文脈ベクトルを入力として、語彙全体に対するソフトマックス損失を最小化することで意味埋め込みを学習する。
• 文脈ベクトルと意味埋め込みのコサイン類似度を計算することでWSDを実行する。この際、小さな意味付与済みコーパス（例：SemCor や OMSTI）からの意味埋め込みを用いる。
• 学習データに含まれないレアな意味に対しては、最も頻度の高い意味（MFS）にフォールバックする戦略を適用する。
• F1スコアを指標として、SemEval13 および Senseval2 ベンチマークで性能を評価する。学習データ量とモデル容量を変化させながら評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 1000億語未満のアノテーションなしテキストで、最先端のWSD性能を達成できるか？
• RQ2 アノテーションなし学習データ量を増やすと性能はどのように変化するか。また、収益の逓減が見られるか？
• RQ3 LSTMモデルの容量（例：隠れ層次元数、埋め込み次元数）を増大させても、ある点を超えると性能向上が著しく小さくなるか？
• RQ4 モデル容量とデータ量の影響は、WSDシステムの安定性と一般化性能にどのように現れるか？

主な発見

• 著者らは、元の研究で使用された1000億語の2％未満にあたる18億語のデータのみを用いても、Yuan らのオリジナル結果と同等のWSD性能を達成した。
• GigaWordの100％を学習データとして使用した場合、SemEval13でのF1スコアは0.640に達し、多くの先行する最先端システムを上回った。
• さらに多くのアノテーションなしデータを追加しても収益の逓減が顕著で、F1スコアを1％向上させるのに必要なデータ量は指数関数的に増加した。
• モデル容量の増大（例：隠れ層次元数を100から256に増加）による性能向上は僅かにとどまり、パrameterのスケーリングが精度向上の有効な手段ではないことを示唆した。
• 最も頻度の高い意味（MFS）フォールバック戦略は、稀な意味の処理において顕著な性能向上をもたらした。これは、システム全体の頑健性において重要な役割を果たしていることを示している。
• 本研究は、高品質なWSDモデルが、大規模な産業用クラスタではなく、標準的な大学の計算リソースでも学習可能であることを示した。