[論文レビュー] TempoWiC: An Evaluation Benchmark for Detecting Meaning Shift in Social Media

Daniel Loureiro, Aminette D'Souza+7 more|arXiv (Cornell University)|Sep 15, 2022

Topic Modeling被引用数 13

ひとこと要約

TempoWiC は、異なる時系列におけるツイートにおける語の意味の変化を検出するための新しいベンチマークを導入する。これは、同じ語が異なる時系列のツイートで同じ意味を持ち続けるかどうかを評価することで、語の意味の変化を検出する。Twitterに最適化されたモデルで高い性能を示しているが、このタスクは依然として困難であり、最も優れた類似度ベースの手法が微調整を上回っている。これは、自然言語処理における時間に配慮した表現学習の向上が求められていることを示している。

ABSTRACT

Language evolves over time, and word meaning changes accordingly. This is especially true in social media, since its dynamic nature leads to faster semantic shifts, making it challenging for NLP models to deal with new content and trends. However, the number of datasets and models that specifically address the dynamic nature of these social platforms is scarce. To bridge this gap, we present TempoWiC, a new benchmark especially aimed at accelerating research in social media-based meaning shift. Our results show that TempoWiC is a challenging benchmark, even for recently-released language models specialized in social media.

研究の動機と目的

• トレンドによって急速に意味が変化するソーシャルメディアにおける語彙的意味の分野において、現実的で時間に配慮したベンチマークが不足しているという問題に対処する。
• モデルが文脈における意味の変化を検出できる能力を評価するため、実際の Twitter のトレンドに基づいたデータセットを構築する。
• ソーシャルメディアの言語の動的で非公式かつトレンド駆動の性質を反映する、挑戦的な評価ベンチマークを構築する。
• 今後の時間的語義表現に関する研究の基盤を築くために、強固なベースラインと分析を提供する。
• 事前に定義された意味インベントリに依存しない状況で、時間に配慮したモデルの評価を可能にする。ここでは、二値の意味の一貫性を焦点とする。

提案手法

• 2019年から2021年までの1億ツイートのコーパスから、月次頻度とトレンドスコアを用いて、意味の変化を経験していると予想される210語を選定する。
• ピークトレンド日における語の100件のツイートと、1年前の同じ日付の100件のツイートを収集し、比較用のペアインスタンスを形成する。
• このタスクを二値分類問題として定式化する：2つの時系列的に分離されたツイートにおいて、対象語が同じ意味を持っているかどうかを判断する。
• 文脈に依存する言語モデル（例：RoBERTa、BERTweet、TimeLMs）を用いて、微調整と類似度ベースの分類の両方を実施する。
• ホールドアウトされたテストセットを用いて、精度とマクロF1スコアを評価し、異なるモデルアーキテクチャーや学習戦略における性能を比較する。
• 文書埋め込みのプーリング戦略（平均、[CLS]）を適用し、表現手法の堅牢性を評価するためのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 同じ語が異なる文脈で時系列的に使用された場合、既存の事前学習済み言語モデルは、ソーシャルメディアにおける意味の変化をどの程度正しく検出できるか？
• RQ2 TempoWiC データセットで微調整することで、文脈埋め込みを用いたゼロショット類似度ベース分類に比べて性能が向上するか？
• RQ3 Twitter特化型言語モデル（例：BERTweet）は、一般ドメインモデル（例：RoBERTa）に比べて、この時間的意味変化検出タスクで顕著に優れているか？
• RQ4 性能は個々の語によってどのように変動するのか？ また、頻度や意味的変化の程度などの要因が、高いまたは低いモデル精度に寄与するのか？
• RQ5 語のトレンドピークの前におけるデータで学習したモデルは、ピーク後の意味変化を検出するために効果的に一般化できるか？

主な発見

• TempoWiC で最も高い性能を示したモデルは、TimeLMs-2019-90M を用いた類似度ベースのアプローチで、74.07% の精度と 70.33% のマクロF1スコアを達成し、すべての微調整モデルを上回った。
• 微調整済み BERTweet-large は 67.93% の精度と 60.62% のマクロF1スコアを達成し、微調整が常に類似度マッチングを上回るわけではないことが示された。
• 類似度ベースの手法は微調整よりも一般化性能に優れており、これは文脈埋め込みが微妙な意味の変化を検出する上でより頑健である可能性を示唆している。
• 性能は語によって顕著に異なる：例えば 'delta' は類似度ベースで 98.98% の精度を達成するが、'bullpen' は 38.38% にまで低下し、語固有の変化パターンへの感受性が顕著に現れている。
• 2019年のデータで学習したモデル（TimeLMs-2019-90M）が最も優れた性能を示しており、これは過去の時間的表現が、後のデータで学習した表現よりも効果的である可能性を示唆している。
• このタスクは依然として極めて困難であり、最良のモデルですら人間の水準に達していないため、時間に配慮した NLP システムにおけるさらなる改善の余地が広く残っている。