[論文レビュー] Not All Neural Embeddings are Born Equal

Felix Hill, Kyunghyun Cho+3 more|arXiv (Cornell University)|Oct 2, 2014

Topic Modeling参考文献 18被引用数 39

ひとこと要約

この論文は、単語埋め込みの概念的類似性および文法的役割を捉える能力において、単語の意味的関連性に優れる単語埋め込みモデルに比べ、ニューラル機械翻訳モデルが優れた性能を示すことを実証している。翻訳目的は、語の間の概念的・機能的関係を暗黙的にエンコードしており、より小さなコーパスで学習した場合でも、類似性および文法的タスクで優れた性能を発揮する。

ABSTRACT

Neural language models learn word representations that capture rich linguistic and conceptual information. Here we investigate the embeddings learned by neural machine translation models. We show that translation-based embeddings outperform those learned by cutting-edge monolingual models at single-language tasks requiring knowledge of conceptual similarity and/or syntactic role. The findings suggest that, while monolingual models learn information about how concepts are related, neural-translation models better capture their true ontological status.

研究の動機と目的

• 異なるニューラルアーキテクチャの目的関数が語の埋め込みにエンコードされる情報に与える影響を調査すること。
• 言語的および概念的タスクの語の埋め込み学習において、単語埋め込みモデルとニューラル機械翻訳モデルの性能を比較すること。
• 翻訳ベースの埋め込みが、単語埋め込みの埋め込みに比べ、概念的類似性および文法的役割をよりよく捉えられるかどうかを特定すること。
• 翻訳ベースの埋め込みが、意味的類似性タスクでは劣るにもかかわらず、類似性および文法的役割タスクで優れた性能を発揮する理由を調査すること。

提案手法

• 300M語の英仏並列コーパスを用いて、RNNエンコーダデコーダおよびRNN Search型ニューラル機械翻訳モデルを学習し、ソース言語（英語）の語の埋め込みを抽出した。
• 同じ英語単語コーパスを用いて、単語埋め込みモデルのスキップグラムおよびCBOWを学習し、直接比較を可能にした。
• 概念的類似性を測定するために、SimLex-999、MEN、WordSim-353の3つの類似性中心のタスクで埋め込みを評価した。
• ベクトル代数（例：v = w + b - m）を用いて、文法的および意味的類似性タスクの性能を評価した。
• 類似性および類似性タスクの両方において、埋め込み空間における最近傍の語をコサイン距離を用いて特定した。
• 異なるコーパスサイズで学習したモデルの比較を通じて、データ効率性および収束性を評価した。

実験結果

リサーチクエスチョン

• RQ1 翻訳ベースの埋め込みは、単語埋め込みに比べて、より正確な概念的類似性をエンコードしているか？
• RQ2 翻訳ベースの埋め込みが、文法的役割および類似性タスクで単語埋め込みモデルを上回る理由は何か？
• RQ3 翻訳目的は、語の間の概念的または機能的関係を反映する埋め込みを誘導できるか？
• RQ4 翻訳埋め込みの優れた性能は、より豊富な文法的符号化によるものか、それともより深い意味的理解によるものか？

主な発見

• 翻訳ベースの埋め込みは、SimLex-999、MEN、WordSim-353で単語埋め込みモデルを著しく上回り、単語埋め込みモデルよりも低いコーパスサイズで性能が頭打ちになる傾向を示した。
• 翻訳埋め込みは、文法的類似性タスクで84.7％の精度を達成し、はるかに大きなコーパスで学習した単語埋め込みモデルでさえも上回った。
• 単語埋め込みのスキップグラムおよびCBOWモデルは、意味的類似性タスク（例：man:boy :: woman:?) で優れていたが、特に反意語や非類義語関係の語の真の概念的類似性を捉えられなかった。
• 翻訳目的により、共起パターンによって単語埋め込みモデルが混同するが、意味的に異なるが共起する語（例：win と earn）を区別できる埋め込みが得られた。
• 翻訳モデルが複数のソース語を1つのターゲット語にマッピングする必要がある（例：gagner → win/earn）ことから、同じ意味的類似性を持つ概念が、すなわち同義語でない場合でも、ソース埋め込みが凝集するようになる。
• 翻訳埋め込みは、語のペアが同じ文法的役割を持つ場合でも類似性タスクで優れた性能を示した。これは、その成功が単に文法的符号化によるものではなく、より深い概念的整合性を反映していることを示している。