[論文レビュー] Diachronic Usage Relatedness (DURel): A Framework for the Annotation of Lexical Semantic Change

Dominik Schlechtweg, Sabine Schulte im Walde+1 more|arXiv (Cornell University)|Apr 17, 2018

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、時間的期間に跨る語の用法間の意味的類似度を測定することにより、言語に依存しない意味的変化のアノテーションフレームワークDURelを紹介する。4段階の類似度スケールとアノテーター間整合性を用い、意味的変化のうち革新的変化と再縮小的変化を区別し、高い信頼性を達成した。また、22語にわたる1,320組の用法ペアを含む公開のドイツ語テストセットを提供し、計算モデルの評価を可能にした。

ABSTRACT

We propose a framework that extends synchronic polysemy annotation to diachronic changes in lexical meaning, to counteract the lack of resources for evaluating computational models of lexical semantic change. Our framework exploits an intuitive notion of semantic relatedness, and distinguishes between innovative and reductive meaning changes with high inter-annotator agreement. The resulting test set for German comprises ratings from five annotators for the relatedness of 1,320 use pairs across 22 target words.

研究の動機と目的

• 計算モデルの語の意味的変化を評価するための信頼性が高く大規模なテストセットの不足に対処すること。
• 直交的多義性アノテーションを、意味的類似度という直感的な概念を用いて時間的意味的変化に拡張すること。
• 革新的変化と再縮小的変化を高いアノテーター間整合性で区別すること。
• 言語に依存しないアノテーションフレームワークを構築し、複数言語に適用可能とすること。
• ドイツ語用の公開テストセットを提供し、意味的変化モデルの評価を支援すること。

提案手法

• フレームワークは4段階の意味的類似度スケール（4：同一、3：密接に類似、2：遠く類似、1：類似なし、0：判断不能）を用い、2つの時間期間に跨る用法ペアを評価する。
• 時間的期間内における用法ペアの類似度の平均値として、時間的用法類似度（DURel）を定義し、期間間での比較を可能にする。
• 2つの指標を提案する：Δlaterは、初期期間から後続期間への平均類似度の変化を計算し、革新的または再縮小的変化を検出する。
• 「比較」グループにおける類似度を初期期間と比較することで、変化の度合いを評価する比較指標を導入し、Δlaterが失敗する場合でも変化を捉える。
• 初期期間の類似度を基準として用いることで、ベースラインの多義性を補正するため、比較指標の正規化を提案する。
• アノテーション研究では、5名のアノテーターが22語のドイツ語の対象語に跨る1,320組の用法ペアを評価し、高いアノテーター間整合性を達成した。

実験結果

リサーチクエスチョン

• RQ1 意味的類似度に基づくフレームワークは、時間的語の意味的変化を信頼性高くアノテートできるか？
• RQ2 このフレームワークは、高いアノテーター間整合性を達成し、革新的変化と再縮小的変化を区別できるか？
• RQ3 提案された指標Δlaterと比較指標は、さまざまな意味的変化のパターンを検出できるか？
• RQ4 これらの指標が失敗する状況は何か？また、正規化によってどのように改善できるか？
• RQ5 このフレームワークは複数言語に適用可能であり、意味的変化評価のための信頼性の高いテストセットを構築できるか？

主な発見

• DURelフレームワークは高いアノテーター間整合性を達成し、意味的変化アノテーションの信頼性を裏付けた。
• Δlater指標は、再縮小的変化（平均値0.39）を正しく予測し、革新的変化（平均値-0.18）を正しく識別した。
• Δlater指標は、新しい意味が高い頻度で使われる場合（例：Presse）に変化を検出できず、新しい用法の高頻度に起因する感度不足に起因した。
• 比較指標は、このような状況でも変化を的確に捉え、Δlaterが失敗したPresseの事例で強い変化を正しく特定した。
• 比較指標は多義性と変化を混同する傾向があり、Federの事例では意味が安定しているにもかかわらず、多義性の高さが比較スコアを高めた。
• 比較指標の正規化は、ベースラインの多義性を補正するために不可欠であり、安定した多義的語が誤検出を引き起こさないよう保証する。