[論文レビュー] COS960: A Chinese Word Similarity Dataset of 960 Word Pairs

Junjie Huang, Fanchao Qi+3 more|arXiv (Cornell University)|Jun 1, 2019

Natural Language Processing Techniques参考文献 28被引用数 10

ひとこと要約

本稿では、15名の中国人ネイティブスピーカーによる真の類似度のラベルを付与した、2熟語の多語語表現（MWE）のペア960組からなる中国語語義類似度データセットCOS960を紹介する。このデータセットはHowNetとGloVe埋め込みを用いて構築され、中国語における語の意味的類似度評価に適した語彙埋め込みの評価を可能にする。CBOWは全ペアにおいて最高の相関（Spearmanのρ = 78.2）を達成した。

ABSTRACT

Word similarity computation is a widely recognized task in the field of lexical semantics. Most proposed tasks test on similarity of word pairs of single morpheme, while few works focus on words of two morphemes or more morphemes. In this work, we propose COS960, a benchmark dataset with 960 pairs of Chinese wOrd Similarity, where all the words have two morphemes in three Part of Speech (POS) tags with their human annotated similarity rather than relatedness. We give a detailed description of dataset construction and annotation process, and test on a range of word embedding models. The dataset of this paper can be obtained from https://github.com/thunlp/COS960.

研究の動機と目的

• 真の類似度に焦点を当てた中国語語義類似度データセットの不足を是正すること。
• 特に2熟語複合語を対象とした中国語における多語語表現（MWE）の語彙埋め込みのベンチマークを構築すること。
• 高品質で人間がラベル付けしたデータセットを提供することで、中国語における分布的意味論モデルの評価を改善すること。
• 提案されたデータセットを用いて、さまざまな事前学習済み語彙埋め込みモデルの中国語意味的類似度における性能を評価すること。

提案手法

• HowNetから51,034個の2熟語語を抽出し、名詞、動詞、形容詞の品詞（POS）タグでフィルタリングした。
• 各POSグループ内で語をペairし、GloVe埋め込みのコサイン類似度が[0.4, 1.0]の範囲にあるペアを抽出した。
• 30名の中国人ネイティブスピーカーを用いて960組の語ペア（名詞480組、動詞240組、形容詞240組）をラベル付けし、真の意味的類似度に基づく0〜4のスケールで類似度スコアを付与した。
• 事前ラベル付け試験、議論プロトコル、およびKrippendorff’s alphaによるアノテーター間一致度チェックを通じてアノテーション品質を確保した。
• 各ペアについて15名のアノテーターの平均スコアを最終的なゴールドスタンダード類似度スコアとした。
• PearsonおよびSpearmanの相関係数を用いて、6種類の語彙埋め込みモデル（Skip-Gram, CBOW, GloVe, CWE, fasttext, cw2vec）を人間のスコアと比較評価した。

実験結果

リサーチクエスチョン

• RQ1 既存の語彙埋め込みモデルは中国語の多語語表現における真の意味的類似度をどの程度適切に捉えられるか？
• RQ2 中国語語義類似度において、異なる品詞カテゴリ（名詞、動詞、形容詞）におけるモデルのパフォーマンスギャップはどの程度か？
• RQ3 2熟語からなるMWEを用いることで、中国語における分布的意味論の評価はどの程度向上するか？
• RQ4 異なる語ペアおよび品詞タグにおいて、人間の意味的類似度ラベル付けはどの程度一貫性を示すか？
• RQ5 埋め込みにサブワードまたは文字レベルの情報が組み込まれることで、この意味的類似度ベンチマークにおけるパフォーマンスは向上するか？

主な発見

• CBOWはCOS960全体で最高のパフォーマンスを示し、Spearmanの順位相関係数が78.2に達した。これはSkip-Gramより2.1ポイント高い。
• 評価された6種類の語彙埋め込みモデルすべてが人間の判断と高い相関を示しており、中国語における真の意味的類似度と強い整合性があることが示された。
• パフォーマンスは動詞ペアで最高（CBOWでSpearmanのρ = 84.8）、次に形容詞（CBOWでρ = 78.5）、名詞で最低（CBOWでρ = 77.0）であった。
• Spearman順位相関係数を用いた評価プロトコルが全モデルで最高のスコアをもたらした。これは、特に類似度のバンド内において高いアノテーションの一貫性があることを示唆している。
• fasttextやcw2vecのようなモデルで、中国語で訓練されていないにもかかわらず、Spearmanのρ > 75という競争力のある結果が得られた。これは、モデルの転送性の高さを示している。
• 以前の主張（例：Hillら, 2015）とは対照的に、語彙埋め込みが真の類似度をうまく捉えていないという主張は、この中国語MWEベースのデータセットでは観測されなかった。高い相関が確認された。