[論文レビュー] Construction of a Japanese Word Similarity Dataset

Yuya Sakaizawa, Mamoru Komachi|arXiv (Cornell University)|Mar 17, 2017

Natural Language Processing Techniques参考文献 7被引用数 12

ひとこと要約

本論文は、多様な品詞と希少語を含むクラウドソーシングを用いて構築された、分散表現語彙の評価を目的とした日本語語類似度データセットの初のものである。1,000組の語のペアに対して名詞、動詞、形容詞、副詞の各品詞にわたる類似度評価を付与することで、日本語の単語埋め込みの堅牢な評価が可能となり、日本語における低リソースNLPにおける重要な空白を埋める。

ABSTRACT

An evaluation of distributed word representation is generally conducted using a word similarity task and/or a word analogy task. There are many datasets readily available for these tasks in English. However, evaluating distributed representation in languages that do not have such resources (e.g., Japanese) is difficult. Therefore, as a first step toward evaluating distributed representations in Japanese, we constructed a Japanese word similarity dataset. To the best of our knowledge, our dataset is the first resource that can be used to evaluate distributed representations in Japanese. Moreover, our dataset contains various parts of speech and includes rare words in addition to common words.

研究の動機と目的

• 日本語という低リソース言語における分散表現語彙の評価リソースの不足を解消すること。
• 高頻度名詞だけでなく、多様な品詞を含む語類似度データセットを作成すること。
• 一般的な語と併せて希少語を含めることで、低頻度語および未知語表現の評価を改善すること。
• 例示ベースの説明と制御されたタスク設計により、アノテーションのばらつきを低減すること。
• 将来的な日本語単語埋め込みおよび類似語タスクの評価の基盤リソースを確立すること。

提案手法

• 複数の品詞にわたる1,000組の語のペアに対して、Amazon Mechanical Turkを用いたクラウドソーシングによる語類似度評価のアノテーション。
• 類似度の理解を標準化するために、類義語ペアを用いた例示ベースの説明を統合。
• 明確な例を提示した0〜10のスケール評価を用い、アノテーター間のばらつきを低減。
• アノテーター間一致性（IAA）を評価するために、ペアごとに複数のアノテーターからデータを収集。
• 表記の一貫性と意味の明確さを保つために、表記のばらつきの影響を最小限に抑える語のペアに焦点を当てた。
• 多義語、表記のばらつき、頻度・時間副詞などの要因によるばらつきの原因を特定するための誤差分析を実施。

実験結果

リサーチクエスチョン

• RQ1 日本語において、信頼性の高い語類似度データセットをどのように構築できるか？
• RQ2 日本語語のペアにおける類似度評価の高水準なアノテーター間ばらつきの主な要因は何か？
• RQ3 品詞、語の頻度、表記のばらつきが、類似度アノテーションの一貫性にどの程度影響を及えるか？
• RQ4 例示ベースの説明は、多様な語の種類にわたる類似度判断のばらつきを効果的に低減できるか？
• RQ5 希少語と複数の品詞の組み合わせを含めることで、分散表現語彙の評価がどの程度改善されるか？

主な発見

• 提案されたデータセットは、多様な品詞にわたる1,000組の語のペアを含む、公開済みの最初の日本語語類似度データセットである。
• アノテーター間一致性（IAA）は中程度であり、Krippendorffのアルファが0.61であった。これは、課題の難易度を考慮しても、妥当な信頼性を示している。
• 類似度評価のばらつきは、頻度や時間の副詞で最も高く、アノテーター間で頻度の心理的尺度が異なることが要因である。
• 表記のばらつき（例：漢字 vs ひらがな・カタカナ）は、特に名詞において顕著な評価の差異を引き起こした。
• 多義語や曖昧な語は、高いばらつきをもたらしたため、今後のデータセットでは明確な意味の定義が不可欠であると示唆された。
• 本データセットにより、一般的な名詞にとどまらず、動詞、形容詞、希少語を含めた日本語単語埋め込みの包括的評価が可能になった。