[論文レビュー] Simulating Lexical Semantic Change from Sense-Annotated Data

Dominik Schlechtweg, Sabine Schulte im Walde|arXiv (Cornell University)|Jan 9, 2020

Language and cultural evolution参考文献 41被引用数 15

ひとこと要約

本稿では、多義語のパターンを活用して、より現実的な合成データセットを生成する新しい方法を提案する。同定された意味の頻度を2つの分布に分割することで意味の獲得・喪失をモデル化し、大規模かつゴールドスタンダードな評価セットを構築した。これにより、LSC検出モデルの厳密なベンチマーク評価が可能となり、モデルが頻度および多義語ベースラインを上回ることを示した。

ABSTRACT

We present a novel procedure to simulate lexical semantic change from synchronic sense-annotated data, and demonstrate its usefulness for assessing lexical semantic change detection models. The induced dataset represents a stronger correspondence to empirically observed lexical semantic change than previous synthetic datasets, because it exploits the intimate relationship between synchronic polysemy and diachronic change. We publish the data and provide the first large-scale evaluation gold standard for LSC detection models.

研究の動機と目的

• 語義変化検出モデルのための大規模かつ信頼性の高い評価データの不足に対処すること。
• 現在の多義語と歴史的変化の関係を活用することで、より現実的な合成データセットをLSC評価に用いること。
• 意味頻度の変化に基づいて、段階的および二値的LSCの定義と実装を行うこと。
• 段階的および二値的変化スコアを含む、LSC検出モデルのためのゴールドスタンダードを提供すること。
• 単なる頻度や多義語ベースラインを超えた、より意味のある性能比較が可能なモデルベンチマークを可能にすること。

提案手法

• 多義語の意味アノテート済みコーパス（例：SemCor）を用いて、多義語語の現在の意味頻度分布を抽出する。
• 意味アノテートデータを2つのコーパスに分割し、歴史的意味頻度の変化を模擬する。それぞれが古くからの使用パターンと新しい使用パターンを表す。
• 意味頻度分布の変化の大きさを段階的LSCとして定義し、意味の獲得・喪失の有無を二値的LSCとして定義する。
• 類似度測定法（CD、LND、SVD、SGNS）およびアライメント手法（OP、WI）を用い、2つのコーパスからの単語表現を用いて変化スコアを予測する。
• 段階的変化評価にはスピアマンのrhoを、二値的変化評価には平均適合度（AP）を用い、ゴールドスタンダードスコアと照合する。
• モデルの性能を頻度、多義語、ランダムベースラインと照合することで、モデルが頻度や多義語の変化以外の要因を捉えているかどうかを評価する。

実験結果

リサーチクエスチョン

• RQ1 現在の意味アノテートデータから、実際の歴史的パターンを反映する形で語義変化をどのように模擬できるか。
• RQ2 意味頻度分布から、段階的および二値的LSCの定量的定義をどのように導出できるか。
• RQ3 頻度や多義語ベースラインと比較して、LSC検出モデルは大規模な合成ゴールドスタンダード上でどの程度の性能を示すか。
• RQ4 モデルは単なる頻度または多義語の変化を超えて、どの程度の語義変化を検出できるか。
• RQ5 提案された模擬手法は、従来の合成データセットと比較して、より現実的な評価ベンチマークを生成できるか。

主な発見

• 提案された模擬手法は、現在の多義語のパターンに基づく意味頻度の変化をモデル化することで、実際の観察結果に近い語義変化を再現する合成LSCデータを生成した。
• 最高の性能を示したモデル（SGNS＋直交プロクラステスアライメント、SVD＋ワードインジェクション）は、段階的変化で平均スピアマンのrho 0.182、二値的変化でAP 0.376を達成した。
• 全モデルが段階的および二値的変化の両方で頻度ベースラインを上回り、二値的変化では多義語ベースラインを上回った。これは、モデルが多義語や頻度の変化以外の要因を捉えていることを示している。
• 本研究の新しいゴールドスタンダードでは、過去の研究と比較して性能が低かったが、これはコーパスサイズが小さくノイズが多いことが原因であると考えられ、現実的で小規模なデータでの評価の難しさを浮き彫りにした。
• ローカルネIGHボラーディスタンス（LND）は、コサイン距離（CD）よりも本設定で優れた性能を示したが、これは段階的と二値的変化の評価方法の違いに起因する可能性がある。
• 本研究は、LSC検出のための最初の大規模で合成されたゴールドスタンダードを確立し、より信頼性が高く一般化可能なモデル評価を可能にした。