[论文解读] Construction of a Japanese Word Similarity Dataset

Yuya Sakaizawa, Mamoru Komachi|arXiv (Cornell University)|Mar 17, 2017

Natural Language Processing Techniques参考文献 7被引用 12

一句话总结

本稿では、分散表現の評価を目的とした、日本語の単語類似度データセットを初めて提示する。このデータセットは、多様な品詞と希少語を含むクラウドソーシングによって構築されたものであり、名詞、動詞、形容詞、副詞の各品詞にまたがる1,000組の語のペアについて類似度のアノテーションを提供することで、日本語の単語埋め込み表現の堅牢な評価を可能にする。これは、日本語における低リソース自然言語処理分野における重要な空白を埋めるものである。

ABSTRACT

An evaluation of distributed word representation is generally conducted using a word similarity task and/or a word analogy task. There are many datasets readily available for these tasks in English. However, evaluating distributed representation in languages that do not have such resources (e.g., Japanese) is difficult. Therefore, as a first step toward evaluating distributed representations in Japanese, we constructed a Japanese word similarity dataset. To the best of our knowledge, our dataset is the first resource that can be used to evaluate distributed representations in Japanese. Moreover, our dataset contains various parts of speech and includes rare words in addition to common words.

研究动机与目标

• 日本語における分散表現の評価リソースの欠如を是正すること、これは低リソース言語としての日本語を対象とする。
• 高頻度の名詞だけでなく、さまざまな品詞を含む語の類似度データセットを構築すること。
• 一般的な語に加えて希少語を含めることで、低頻度語および未知語表現の評価を改善すること。
• 例示ベースの説明と制御されたタスク設計により、アノテーター間のばらつきを低減すること。
• 将来の日本語の単語埋め込み表現および類似語タスクの評価の基盤を確立すること。

提出的方法

• 複数の品詞にまたがる1,000組の語のペアについて、Amazon Mechanical Turkを用いたクラウドソーシングによる語の類似度アノテーション。
• 類似度の理解を標準化するために、類義語ペアを用いた例示ベースの説明を統合。
• 明確な例を提示した0〜10のスケールを用い、アノテーター間のばらつきを低減。
• アノテーター間一致性（IAA）を評価するために、ペアごとに複数のアノテーターからデータを収集。
• 表記の一貫性と意味の明確さを重視し、表記のばらつきに起因するノイズを最小限に抑える。
• 誤差分析を実施し、多義語、表記のばらつき、頻度・時間の副詞など、ばらつきの原因を同定。

实验结果

研究问题

• RQ1 日本語において、信頼性の高い語の類似度データセットをどのように構築できるか？（日本語にはこのようなリソースが存在しない。）
• RQ2 日本語の語のペアにおける類似度アノテーションで、高水準のアノテーター間ばらつきが生じる要因は何か？
• RQ3 品詞、語の頻度、表記のばらつきが、類似度アノテーションの一貫性にどの程度影響を与えるか？
• RQ4 例示ベースの説明は、多様な語の種類にわたる類似度判断のばらつきを効果的に低減できるか？
• RQ5 希少語と複数の品詞の組み合わせを含めることで、分散表現の評価がどの程度改善されるか？

主要发现

• 提案されたデータセットは、多様な品詞にまたがる1,000組の語のペアを含む、公開済みの初の日本語語の類似度データセットである。
• アノテーター間一致性（IAA）は中程度であり、Krippendorffのアルファが0.61であった。これは、課題の難易度を考慮しても、許容できる信頼性を示している。
• 類似度の評価のばらつきは、頻度や時間の副詞において最も高く、アノテーター間で頻度の主観的スケールの違いが原因であった。
• 表記のばらつき（例：漢字 vs ひらがな・カタカナ）は、特に名詞において顕著な評価の差を引き起こした。
• 多義語や曖昧な語は、高いばらつきを引き起こしており、今後のデータセットではより明確な意味の定義が求められる。
• このデータセットにより、一般的な名詞にとどまらず、動詞、形容詞、希少語を含めた日本語の単語埋め込み表現の包括的評価が可能になった。