[論文レビュー] A Survey of Word Embeddings Evaluation Methods

Amir Bakarov|arXiv (Cornell University)|Jan 21, 2018

Topic Modeling参考文献 93被引用数 131

ひとこと要約

本論文は、単語埋め込み評価の総合的な分類法を提示し、16の内在的手法と12の外在的手法、データセット、および主要な課題を詳述する。

ABSTRACT

Word embeddings are real-valued word representations able to capture lexical semantics and trained on natural language corpora. Models proposing these representations have gained popularity in the recent years, but the issue of the most adequate evaluation method still remains open. This paper presents an extensive overview of the field of word embeddings evaluation, highlighting main problems and proposing a typology of approaches to evaluation, summarizing 16 intrinsic methods and 12 extrinsic methods. I describe both widely-used and experimental methods, systematize information about evaluation datasets and discuss some key challenges.

研究の動機と目的

• 既存の単語埋め込み評価アプローチを体系化し分類する。
• 評価手法の階層的分類法を提案する。
• 内在的および外在的手法の評価データセットを要約・整理する。
• 単語埋込み評価における主要な課題と将来の方向性について議論する。

提案手法

• 単語埋め込み評価手法の階層的分類法を導入する。
• 内在的評価と外在的評価アプローチを区別して説明する。
• 手法全体で使用される評価データセットとタスクを体系化する。
• 意味論の曖昧さ、学習データ、ハブネスなどの重要な課題について議論する。
• 内在的評価と外在的評価の相関（あるいは相関の欠如）を強調する。

実験結果

リサーチクエスチョン

• RQ1 単語埋め込みの主要な評価手法は何か？
• RQ2 どのような内在的・外在的手法が存在し、それらはどのように機能するか？
• RQ3 手法を横断して単語埋め込みを評価するのに使用されるデータセットは何か？
• RQ4 単語埋め込みを評価する際の主要な課題と未解決の問題は何か？

主な発見

• 内在的評価はしばしば単語関係の人間の判断に依存するが、主観性とデータセットのばらつきに直面する。
• 外在的評価は埋め込みを下流タスクに結びつけるが、タスク間の一貫した相関が欠如している。
• ハブネスおよびデータ品質の問題は信頼性の高い評価を難しくする。
• 総合的な分類法とデータセットカタログは評価の取り組みを統一し、指針を提供できる。
• 本論文は将来の課題と評価に対する学際的アプローチを強調している。