[論文レビュー] Retrofitting Word Vectors to Semantic Lexicons

Manaal Faruqui, Jesse Dodge+4 more|arXiv (Cornell University)|Nov 15, 2014

Topic Modeling参考文献 48被引用数 65

ひとこと要約

本稿では、WordNet や PPDB などの意味的リソースを用いて、関連語の類似性をグラフベースの信念伝播によって強制することで、事前学習済み単語ベクトルを微調整するpost-processing手法「リファインティング」を提案する。この手法は、複数の言語およびベクトルモデルで単語ベクトルの品質を向上させ、語彙的類似性ベンチマークで最先端の性能を達成し、SYN-REL で最大5.5ポイントの安定した向上を示した。

ABSTRACT

Vector space word representations are learned from distributional information of words in large corpora. Although such statistics are semantically informative, they disregard the valuable information that is contained in semantic lexicons such as WordNet, FrameNet, and the Paraphrase Database. This paper proposes a method for refining vector space representations using relational information from semantic lexicons by encouraging linked words to have similar vector representations, and it makes no assumptions about how the input vectors were constructed. Evaluated on a battery of standard lexical semantic evaluation tasks in several languages, we obtain substantial improvements starting with a variety of word vector models. Our refinement method outperforms prior techniques for incorporating semantic lexicons into word vector training algorithms.

研究の動機と目的

• WordNet や FrameNet、Paraphrase Database などの意味的リソースから得られる関係的知識を統合することで、事前学習済み単語ベクトルの品質を向上させること。
• 従来の単語ベクトル学習モデルの学習目的を変更せずに、任意のモデルと互換性を持つモジュラーでpost-processingな手法を開発すること。
• 分布的単語ベクトルが、語彙的リソースにエンコードされた明示的な意味的関係を欠いているという限界を是正すること。
• 多様な評価タスク、ベクトルモデル、言語にわたって一貫した性能向上を示すこと。

提案手法

• 単語をノードとし、語義的関係（例：類義語、上位語関係）をエッジとするグラフを意味的リソースから構築する。
• 各単語ベクトルとそのグラフ内での近隣ノードとの間の二乗距離の和を最小化する目的関数を定義する。
• 反復的信念伝播更新式を用いる：qi = (Σβijqj + αiˆqi) / (Σβij + αi)，ここでβijとαiは、語彙的リソースと分布的表現の相対的影響を制御する。
• 収束するまで反復的に更新（通常10回）し、元のベクトル学習手法に依存しない実行時間を持つ。
• 初期ベクトルモデルに依存しないため、GloVe や word2vec などの既存の埋め込みモデルに適用可能である。
• 処理は高速で、10万語のベクトルに対して5秒未塔であり、Universal WordNet などの多言語語彙リソースを用いて多言語設定に拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 学習プロセスを変更せずに、意味的リソースを用いて事前学習済み単語ベクトルを改善できるか？
• RQ2 リソース情報を学習段階で統合する共同学習手法と比較して、リファインティングはどのように性能を発揮するか？
• RQ3 本手法は、異なる単語ベクトルモデル、ベクトル次元、言語に一般化可能か？
• RQ4 標準的な語彙的意味的評価タスクにおいて、リファインティングはどの程度性能を向上させるか？
• RQ5 性能向上の主な要因は、ベクトル空間内での意味的に関連する語の整合性向上にあるか？

主な発見

• リファインティングは、最も優れた先行モデルと比較して、SYN-RELベンチマークで5.5ポイントの絶対的向上を達成し、最先端の共同学習手法を大きく上回った。
• MEN語類似度タスクでは、50から1000のベクトル次元すべてでスピアマンの順位相関係数が66.5から70.2に向上し、次元にかかわらず一貫した向上を示した。
• 多言語評価では、ドイツ語（RG-65）で6.9ポイント、フランス語（RG-65）で13.9ポイント、スペイン語（MC-30）で5.1ポイントの向上を示し、強力な多言語一般化性能を確認した。
• 2次元PCAによる可視化では、アドジェクティブから副詞への類推ベクトルが一貫した方向に整列しており、構造的整合性の向上を示した。
• 計算コストが低く、300次元ベクトルの10万語をリファインティングするのに5秒未塔であり、元の学習モデルに依存しない。
• GloVe や SG、skip-gram などの多様な単語ベクトルモデル、および PPDB や WordNet、FrameNet などの意味的リソースに対して、一貫した性能向上を示した。これにより、本手法の頑健性とモularity が確認された。