[論文レビュー] Leveraging Contextual Embeddings for Detecting Diachronic Semantic Shift

Matej Martinc, Petra Kralj Novak+1 more|arXiv (Cornell University)|Dec 2, 2019

Language and cultural evolution参考文献 28被引用数 42

ひとこと要約

本論文は、微調整済みBERTからの時系列別の語表現を用いて、語の時相的意味変化を検出する手法を提案し、LiverpoolFCで最先端手法と同等の性能を示し、Brexitおよび多言語の移民コーパスへ適用可能である。

ABSTRACT

We propose a new method that leverages contextual embeddings for the task of diachronic semantic shift detection by generating time specific word representations from BERT embeddings. The results of our experiments in the domain specific LiverpoolFC corpus suggest that the proposed method has performance comparable to the current state-of-the-art without requiring any time consuming domain adaptation on large corpora. The results on the newly created Brexit news corpus suggest that the method can be successfully used for the detection of a short-term yearly semantic shift. And lastly, the model also shows promising results in a multilingual settings, where the task was to detect differences and similarities between diachronic semantic shifts in different languages.

研究の動機と目的

• 文脈埋め込みを用いて、短い時間スパンでの意味の漂流を動機づけ、測定する。
• 時期区分された語データに対してBERTを微調整することによって、時相特異的な語表現を作成する。
• 汎用性と効率性を評価するため、専門領域コーパスと多言語コーパスで手法を評価する。

提案手法

• 事前学習済みBERTモデルを、各時相セグメントのコーパス上でドメイン適応のために微調整し、時系列微調整なしで適用する。
• BERTにバイトペアエンコードされた系列を入力して、最後の4つのエンコーダ層を合計することで、時相特異的な系列埋め込みを生成する。
• ある時期のすべてのトークン出現に対する文脈埋め込みを集約して、語レベルの時相表現を作成する。
• Byte-Pairトークンが単語を分割した場合、構成トークンの埋め込みを平均して語表現を再構成する。
• 同じトークンの時相表現間のコサイン距離によって意味変化を測定する。
• Brexitについては、Brexitと正規化されたレーベンシュタイン距離でフィルタリングされた50語の意味的に関連する語とのコサイン類似度を追跡して、相対的な変化を分析する。

実験結果

リサーチクエスチョン

• RQ1 文脈埋め込みを用いて、短期的な意味の変化を大域的なドメイン適応なしに検出できるか。
• RQ2 時相特異的表現は、多言語コーパスにおける意味変化の跨言語比較を可能にするか。
• RQ3 時相特異的表現はLiverpoolFCのベンチマークの人手で注釈された意味変化とどのように相関するか。
• RQ4 Brexitおよび移民ディスコースの検出された変化は実世界の出来事・議論の変化と一致しているか。

主な発見

• LiverpoolFCでの性能はコサイン距離と意味変化指標のピアソン相関0.47を示し、最先端とほぼ同等である。
• 従来の手法と比較して、大規模なドメイン適応なしで同等の結果を達成。
• Brexitコーパスの分析は、年を追う語の関係性に意味のある変化を示し、イベントや討論と整合する。
• 英語-スロベニア語の多言語移民分析は、英語とスロベニア語の語ペアが移民ディスコースの意味的軌道を大筋で共有することを示す。
• 単一の多言語BERTモデルを用いて、リソースが限られる言語での分析を可能にする。
• 短期的な意味変化検出と多言語比較の可能性を示す。