[論文レビュー] AutoExtend: Extending Word Embeddings to Embeddings for Synsets and Lexemes

Sascha Rothe, Hinrich Schütze|arXiv (Cornell University)|Jul 4, 2015

Topic Modeling参考文献 43被引用数 204

ひとこと要約

AutoExtend は、語彙資源の制約をテンソルベースの形式で定式化することで、事前学習済み単語埋め込みを合成語と語彙素に拡張する柔軟な手法である。単語をその語彙素の和として、合成語をその語彙素の和としてモデル化することで、再訓練を必要とせず共有のベクトル空間表現を学習し、語の類似性および語の意味の解釈のタスクで最先端の性能を達成する。

ABSTRACT

We present extit{AutoExtend}, a system to learn embeddings for synsets and lexemes. It is flexible in that it can take any word embeddings as input and does not need an additional training corpus. The synset/lexeme embeddings obtained live in the same vector space as the word embeddings. A sparse tensor formalization guarantees efficiency and parallelizability. We use WordNet as a lexical resource, but AutoExtend can be easily applied to other resources like Freebase. AutoExtend achieves state-of-the-art performance on word similarity and word sense disambiguation tasks.

研究の動機と目的

• WordNet などの語彙資源における合成語や語彙素といった非単語エンティティの埋め込みに、事前学習済み単語埋め込みを拡張すること。
• 入力された単語埋め込みと同じベクトル空間で動作する手法を開発し、下流の NLP タスクとの直接的な互換性を実現すること。
• 語彙資源からの構造的制約を活用することで、追加の学習コーパスや再訓練の必要性を回避すること。
• 語の類似性および語の意味の解釈のベンチマークで最先端の性能を達成すること。
• Freebase や多言語リソースなどの他の知識ベースへも適用可能な汎用的なフレームワークを提供すること。

提案手法

• 単語、語彙素、合成語の埋め込みをテンソル方程式を用いて形式化し、単語ベクトルはその語彙素ベクトルの和として、合成語ベクトルはその語彙素ベクトルの和として定式化する。
• 各単語-合成語ペアごとに学習可能な対角行列 E(i,j) を導入し、単語埋め込みを語彙素に分散させる。各次元を独立して処理することで、効率性と並列処理を実現する。
• 各単語ごとに変換行列の和が単位行列に等しくなる制約を課し、語彙素間でのベクトル保存を保証する。
• テンソル形式化に基づく正則化最小二乗法最適化を用いてシステムを解き、単語および合成語の再構成誤差を最小化する。
• 単語再構成、合成語再構成、語彙素の一貫性の3つの制約を重み付き組み合わせで適用し、最適なパフォーマンスを得るためにハイパーパrameterチューニングを実施する。
• 多言語拡張を可能とするために、言語間の埋め込みを一致させる線形変換行列 L を学習し、多言語間の合成語埋め込み計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 再訓練や追加コーパスなしに、事前学習済み単語埋め込みを合成語や語彙素の埋め込みに拡張することは可能か？
• RQ2 WordNet からの構造的制約に基づく手法は、語の類似性や語の意味の解釈といった標準的な NLP ベンチマークでどれほど高い性能を発揮するのか？
• RQ3 最適化目的関数における、異なる制約（単語、合成語、語彙素）のバランスはどのようになるか？
• RQ4 この手法は、Freebase や多言語リソースなどの他の知識ベースへ一般化可能か？
• RQ5 事前に意味特化埋め込みを学習する既存の手法と比較して、AutoExtend はどのように性能を発揮するか？

主な発見

• AutoExtend は、意味特化埋め込みを用いた先行手法を上回る性能を示し、SCWS 語の類似性ベンチマークで最先端の結果を達成した。
• 語の意味の解釈タスクにおいて、単語ベクトルを合成語ごとに単純平均するだけのナイーブベースライン（Snaive）を著しく上回った。
• 追加の学習データが一切不要な状態で、単語埋め込みと資源制約のみを用いても、WSD で競争力のある性能を発揮した。
• 制約の重み付け（単語、合成語、語彙素）の最適なバランスは、ほぼ同等の重要度であることが判明し、重みの範囲 θ ∈ [0.2, 0.8] においても性能低下が最小限に抑えられた。
• 線形変換行列を用いた言語間の埋め込み一致により、多言語設定への一般化が良好に実現され、多言語合成語埋め込みの計算が可能になった。
• 著者らは AutoExtend のコード、事前学習済み語彙素および合成語埋め込み、評価スクリプトを公開し、結果の完全な再現性を可能にした。