[論文レビュー] Evaluation of Greek Word Embeddings

Stamatis Outsios, Christos Karatsalos+2 more|arXiv (Cornell University)|Apr 8, 2019

Natural Language Processing Techniques参考文献 21被引用数 5

ひとこと要約

この論文は、新たに作成された語の類推テストセットとギリシャ語版WordSim353を用いて、50GBのギリシャ語ウェブコーパス上で7つのモデルを学習することで、ギリシャ語の単語埋め込みを評価している。結果から、語彙的構造の複雑さと多義性が性能に顕著な影響を与えることが示され、gr_defモデルが語の類似性評価で最高の相関係数（0.6042）を達成し、類推タスクでは3CosMulとトップ1ベクトルを用いて68.97％の正答率を記録した。

ABSTRACT

Since word embeddings have been the most popular input for many NLP tasks, evaluating their quality is of critical importance. Most research efforts are focusing on English word embeddings. This paper addresses the problem of constructing and evaluating such models for the Greek language. We created a new word analogy corpus considering the original English Word2vec word analogy corpus and some specific linguistic aspects of the Greek language as well. Moreover, we created a Greek version of WordSim353 corpora for a basic evaluation of word similarities. We tested seven word vector models and our evaluation showed that we are able to create meaningful representations. Last, we discovered that the morphological complexity of the Greek language and polysemy can influence the quality of the resulting word embeddings.

研究の動機と目的

• ギリシャ語——語彙的に豊富でリソースが限られる言語——の単語埋め込みの質を評価すること。
• 文法的・構文的・意味的関係を捉えることができる、ギリシャ語に特化した新規の語の類推テストセットを開発・公開すること。
• 語の類似性評価のためのイントラウス的評価用に、WordSim353のギリシャ語版を作成すること。
• 大規模なギリシャ語ウェブコーパス上で学習された複数の事前学習済み単語埋め込みモデルを比較すること。
• ギリシャ語における埋め込みの質に影響を与える言語的要因（多義性や語彙的構造）を同定すること。

提案手法

• 2000万件のURLから抽出した50GBのギリシャ語ウェブコーパス上で、7つの単語埋め込みモデル（CBOW、Skip-gramおよびその変種）を学習した。
• 元の英語版Word2vec類推ベンチマークに基づき、ギリシャ語の言語的特徴に適合させるために改造した、新規のギリシャ語類推テストセットを作成した。
• WordSim353データセットをギリシャ語に翻訳・適応させ、語の類似性評価に用いた。
• イントラウス的手法を用いてモデルを評価：類推（3CosAddおよび3CosMul）と類似性（ピアソン相関係数）。
• 類推タスクではトップ1およびトップ5の最近傍検索を適用し、意味的・文法的・サブカテゴリごとのパフォーマンスを報告した。
• ライブウェブツールを活用して、単語ベクトルと類推のインタラクティブな探索を可能にした。

実験結果

リサーチクエスチョン

• RQ1 イントラウスのベンチマークを用いて評価した場合、最先端の単語埋め込みモデルはギリシャ語でどの程度の性能を示すか？
• RQ2 ギリシャ語における語彙的構造の複雑さと多義性は、学習された単語表現の質にどの程度の影響を与えるか？
• RQ3 類推タスクの異なるサブカテゴリ（例：通貨_国名 や 反意語）において、単語埋め込みのパフォーマンスはどのように変動するか？
• RQ4 どの事前学習済みモデルがギリシャ語のヒューマンアノテート類似度スコアと最も高い相関を示すか？
• RQ5 異なるベクトル類似度手法（3CosAdd 対 3CosMul）は、ギリシャ語の類推および類似度タスクにおけるパフォーマンスにどのように影響を与えるか？

主な発見

• gr_defモデルがギリシャ語版WordSim353類似性ベンチマークでヒューマンレーティングと最高のピアソン相関係数（0.6042）を達成した。
• cc.el.300モデルが3CosMulとトップ1ベクトルを用いて類推タスクで最高の正答率（68.97％）を記録した。
• 反意語（antonyms）カテゴリでは、語彙的複雑さが高いため、他のカテゴリと比較して顕著に性能が劣った。
• 全モデルにおいて、男性形の形態的形態が女性形よりも優れたパフォーマンスを示し、形態的感度が顕著に現れた。
• OoV（未知語）率が高いサブカテゴリ（例：形容詞_反意語 や 人物_行動）では、一貫して低いパフォーマンスを示した。
• 3CosMul手法は、特に類似度値が小さい場合の差を強調するため、ほとんどのケースで3CosAddを上回った。