[論文レビュー] A Comparison of Word Embeddings for English and Cross-Lingual Chinese Word Sense Disambiguation

Hong Jin Kang, Tao Chen+2 more|arXiv (Cornell University)|Nov 9, 2016

Topic Modeling参考文献 25被引用数 3

ひとこと要約

この論文は、単語埋め込み（Word2Vec、GloVe、Collobert & Weston）を用いた単言語英語および英中クロスリンガルの意味素分割（WSD）を評価し、再訓練を伴わずにIMS WSDシステムに埋め込み特徴を統合することで性能向上を図っている。再訓練なしで最先端または競争力のある性能を達成し、公開用の英中クロスリンガルWSDデータセットを提供しており、単純な埋め込みベクトルの和算に適切なスケーリングを施すことで、複雑なLSTMモデルを上回る性能を発揮していることが判明した。

ABSTRACT

Word embeddings are now ubiquitous forms of word representation in natural language processing. There have been applications of word embeddings for monolingual word sense disambiguation (WSD) in English, but few comparisons have been done. This paper attempts to bridge that gap by examining popular embeddings for the task of monolingual English WSD. Our simplified method leads to comparable state-of-the-art performance without expensive retraining. Cross-Lingual WSD - where the word senses of a word in a source language e come from a separate target translation language f - can also assist in language learning; for example, when providing translations of target vocabulary for learners. Thus we have also applied word embeddings to the novel task of cross-lingual WSD for Chinese and provide a public dataset for further benchmarking. We have also experimented with using word embeddings for LSTM networks and found surprisingly that a basic LSTM network does not work well. We discuss the ramifications of this outcome.

研究の動機と目的

• 標準ベンチマーク（Senseval-2、Senseval-3、SemEval-2007）を用いた単語埋め込み（Word2Vec、GloVe、Collobert & Weston）の単言語英語WSDにおける有効性を比較すること。
• 再訓練を伴わずに、IMS WSDシステムに単語埋め込みを特徴として統合することで、性能向上を図ること。
• 英語をソース言語、中国語をターゲット言語として用いたクロスリンガルWSDにおける単語埋め込みの実用性と性能を調査すること。
• 教育的応用およびベンチマーク目的のため、英中クロスリンガルWSDのゴールドスタンダードデータセットを構築・公開すること。
• 単語埋め込みを用いた基本的なLSTMアーキテクチャの性能を評価し、従来の教師あり手法と比較すること。

提案手法

• IMS WSDシステムに、事前学習済みの単語埋め込み（Word2Vec、GloVe、Collobert & Weston）を追加特徴として統合することで、オープンソース版を拡張した。
• 単純な特徴統合手法を適用：スケーリングパラメータ（σ = 0.05、0.1、0.15）を用いた埋め込みベクトルの和算により、特徴表現を向上させた。
• 単語埋め込み特徴統合のための学習に、All WordsタスクにおけるOne-Million Sense-Tagged Instancesデータセットを用いた。
• 実際のニュース記事から、ターゲット語の中国語訳を人手でアノテートした英中クロスリンガルWSDデータセットを構築した。
• 詳細なスコアリングと粗いスコアリングの両方を用いて性能を評価し、粗いスコアリングではすべてのアノテーションを正解とみなした。
• 同じデータセットと評価プロトコルを用いて、単語埋め込みを用いた基本的なLSTMネットワークと拡張されたIMSシステムを比較した。

実験結果

リサーチクエスチョン

• RQ1 Word2Vec、GloVe、Collobert & Westonといった異なる事前学習済み単語埋め込みは、単語埋め込みの性能にどの程度差を示すか？
• RQ2 既存のWSDシステム（IMS）に単語埋め込みを単純に統合することで、再訓練なしに最先端のシステムを上回るか、同等の性能を達成できるか？
• RQ3 英語語彙を中国語に翻訳する際、単語埋め込みがどれほどクロスリンガルWSDの性能向上に寄与するか？
• RQ4 単語埋め込みが他のNLPタスクで成功しているにもかかわらず、なぜ基本的なLSTMネットワークはWSD性能を向上させないのか？
• RQ5 スケーリングパラメータ（σ）の選択が、WSDにおける埋め込み特徴の和算性能にどのように影響するか？

主な発見

• IMSシステムに事前学習済み単語埋め込みを特徴として追加することで、再訓練なしに単語埋め込み特徴統合による性能向上が達成され、最先端のシステムを上回るか同等の性能を発揮した。
• 複数のベンチマークにおいて、Word2Vec埋め込みが最も優れた性能を示し、次いでGloVe、Collobert & Westonの順であった。
• 適切なスケーリング（σ = 0.1）を施した埋め込みベクトルの単純な和算が、クロスリンガルWSDで最高の正答率（0.772）を達成し、ベースラインから21.3%の向上を示した。
• クロスリンガルWSDデータセットのサイズが小さいため、単語埋め込みによる性能向上は95%信頼区間で有意ではなかった。
• 単語埋め込みを用いた基本的なLSTMネットワークは性能が低く、単語埋め込みだけではこのWSD設定における有効な系列モデル化には不十分であることが示唆された。
• Bing Translatorのフレーズレベル翻訳動作が、単語レベルの翻訳に対して不適切なアライメントを生じさせ、単語レベルのクロスリンガルWSDにおけるベースラインとしての信頼性を損なっていた。