[論文レビュー] A Wind of Change: Detecting and Evaluating Lexical Semantic Change across Times and Domains

Dominik Schlechtweg, Anna Hätty+2 more|arXiv (Cornell University)|Jun 7, 2019

Advanced Text Analysis Techniques参考文献 39被引用数 5

ひとこと要約

本稿では、時間的（diachronic）およびドメイン別（synchronic）のタスクにおいて、統一されたベンチマークを用いて語彙的意味変化（LSC）検出モデルのスケーラブルかつ体系的な評価を実施する。Word Injectionを導入してベクタースペースのアライメントを回避し、正規直交Procrustesアライメントとコサイン距離を組み合わせたSGNSが最も優れた性能を示すことが判明。また、平均化処理（mean-centering）が顕著に性能向上をもたらすことが示され、多様な言語的文脈におけるLSC検出のための堅牢で再現可能なフレームワークを確立した。

ABSTRACT

We perform an interdisciplinary large-scale evaluation for detecting lexical semantic divergences in a diachronic and in a synchronic task: semantic sense changes across time, and semantic sense changes across domains. Our work addresses the superficialness and lack of comparison in assessing models of diachronic lexical change, by bringing together and extending benchmark models on a common state-of-the-art evaluation task. In addition, we demonstrate that the same evaluation task and modelling approaches can successfully be utilised for the synchronic detection of domain-specific sense divergences in the field of term extraction.

研究の動機と目的

• 時間的語彙的意味変化検出における標準化された評価の欠如が、モデルの比較や分野全体の進展を妨えているという問題に対処すること。
• 時間的LSCモデルの堅牢性と転移性を、特殊語彙コーパスにおけるドメイン固有の意味変化検出といった同期的（synchronic）設定でも評価すること。
• 特にベクタースペース表現と変化測定指標に注目し、LSC検出における最適なモデルアーキテクチャ、アライメント手法、前処理手順を同定すること。
• コーパス頻度、多義性、データシャッフルの影響に対してLSC検出モデルがどれほど感受性を示すかを調査し、特に制御条件における影響を評価すること。
• 領域固有の文脈における同期的LSCを再現可能なベンチマークとして確立するため、新規かつ信頼性の高いデータセットを構築・活用すること。

提案手法

• 本研究では、時間的変化（ドイツ語の時間的変化）を対象とするデータセットと、ドメイン固有の意味変化（ドイツ語コーパス内）を対象とするデータセットを用い、語彙的意味変化検出のための多様なモデル（例：SGNS、トピックモデル、意味クラスタリング）を評価する。
• 時間的期間やドメイン間の単語ベクトルをアライメントするために、後処理を要しない正規直交Procrustesアライメントを適用し、Word Injection（語彙抽出にインspiredされた手法）を含む代替手法と比較する。
• アライメント済みベクトル間のコサイン距離を用いて意味変化を測定し、DURel（時間的変化に基づく）およびSURel（同期的ドメイン固有変化に基づく）という2つのゴールドスタンダードランキングを用いて性能を評価する。
• 時間のシャッフルを用いた制御条件を導入し、モデルが実際に意味変化を検出しているのか、それとも頻度や多義性の影響を受けているのかをテストする。また、頻度の低減処理を施してこれらの要因の影響を分離する。
• 特に正規直交Procrustesマッピングにおいて、回転アライメント性能の向上を図るため、単語ベクトルの平均化処理（mean-centering）を前処理として適用する。
• ベクタースペースタイプ、アライメント手法、変化検出指標の複数の組み合わせを対象とし、広範なハイパーパrameterチューニングと統計的妥当性の検証を実施する。

実験結果

リサーチクエスチョン

• RQ1 時間的およびドメイン的文脈における語彙的意味変化検出において、どのモデルアーキテクチャとベクタースペース表現が最高のパフォーマンスを示すか？
• RQ2 正規直交ProcrustesやWord Injectionといった異なるアライメント手法が、LSC検出の精度にどの程度影響を与えるか？
• RQ3 平均化処理のような前処理ステップが、ベクタースペースアライメントおよび変化検出のパフォーマンスに与える影響はいかほどか？
• RQ4 LSC検出モデルはコーパス頻度や多義性に対してどの程度感受性を示すか。また、これらの混同要因はどのように緩和できるか？
• RQ5 時間的LSC検出に訓練されたモデルは、ドメイン固有の語の意味シフトを同定するような同期的LSCタスクに効果的に転送可能か？

主な発見

• SGNSによる語の表現、正規直交Procrustesアライメント、変化測定にコサイン距離を用いた組み合わせが、時間的および同期的LSCタスクの両方で最高の全体的パフォーマンスを示した。
• 単語ベクトルの平均化処理は、回転アライメント手法、特に正規直交Procrustesにおいて顕著に性能を向上させ、重要な前処理ステップであると特定された。
• Conceptually promisingなWord Injectionは、すべてのベクタースペースタイプにおいて正規直交Procrustesアライメントを下回る性能を示し、変換行列によるアライメントがより効果的であることが示された。
• 時間シャッフルを用いた制御条件では、モデルの予測が著しく低下（DURelでは0.5から0.36、SURelでは0.53から0.44に）し、モデルが実際に意味変化を検出していることが確認された。
• シャッフル後、DURelにおけるモデル予測とゴールドスタンダードランキングの相関係数は急激に低下（ρ=0.816から0.180に）したが、SURelでは依然として高い相関（ρ=0.767）を示し、SURelのランキングが頻度と多義性の影響を受ける可能性があることが示唆された。
• すべてのターゲット語を約50の頻度に均一化するダウンサンプリングにより、SURelの相関係数はρ=0.576に低下した。これは、シャッフル後でも頻度と語の使用分布のばらつきが、モデルの予測に依然影響を与え続けていることを示している。