[論文レビュー] Named Entity Recognition in Twitter: A Dataset and Analysis on Short-Term Temporal Shifts

Asahi Ushio, Leonardo Neves+3 more|arXiv (Cornell University)|Oct 7, 2022

Topic Modeling被引用数 5

ひとこと要約

この論文は、2019年9月から2021年8月までの期間にわたって時系列に配分された11,382件のツイートを含む、7種類のエンティティタイプを持つ新しい英語のNERデータセットTweetNER7を紹介し、NER性能における短期的な時系列シフトを分析している。自己ラベル付けとファインチューニング戦略を用いても、モデルは時間経過とともに持続的な性能低下を示しており、ソーシャルメディアのテキストにおける時系列的シフトは、現在の緩和技術をはるかに超える重大な課題のままであることが示唆されている。

ABSTRACT

Recent progress in language model pre-training has led to important improvements in Named Entity Recognition (NER). Nonetheless, this progress has been mainly tested in well-formatted documents such as news, Wikipedia, or scientific articles. In social media the landscape is different, in which it adds another layer of complexity due to its noisy and dynamic nature. In this paper, we focus on NER in Twitter, one of the largest social media platforms, and construct a new NER dataset, TweetNER7, which contains seven entity types annotated over 11,382 tweets from September 2019 to August 2021. The dataset was constructed by carefully distributing the tweets over time and taking representative trends as a basis. Along with the dataset, we provide a set of language model baselines and perform an analysis on the language model performance on the task, especially analyzing the impact of different time periods. In particular, we focus on three important temporal aspects in our analysis: short-term degradation of NER models over time, strategies to fine-tune a language model over different periods, and self-labeling as an alternative to lack of recently-labeled data. TweetNER7 is released publicly (https://huggingface.co/datasets/tner/tweetner7) along with the models fine-tuned on it.

研究の動機と目的

• 短期的な意味的シフトを捉えることのできる大規模かつ時系列に多様なTwitter NERデータセットの不足を解消すること。
• 事前学習された言語モデルが、ソーシャルメディアのテキストにおいて短期間（例：数か月）の期間にわたり性能が低下するメカニズムを調査すること。
• 自己ラベル付けとファインチューニング戦略が、NERにおける時系列的シフトを緩和する上で有効であるかを評価すること。
• 時系列的NER分析のためのベンチマークデータセットとベースラインモデルを提供すること。
• Twitterにおける意味の時間的変化に関連するモデルのバイアスおよび失敗パターンを特定すること。

提案手法

• 2019年9月から2021年8月にかけて、週次でトレンドキーワードを用いてツイートを収集することで、トピックの多様性と時系列的な均一性を確保し、TweetNER7を構築した。
• 7種類のエンティティタイプ（人物、場所、企業、芸術的創作物、団体、製品、出来事）を用いて11,382件のツイートをアノテーションした。
• 類似度の高い重複ツイートや関係のないツイートを除外することで、データ品質を向上させ、ノイズを低減した。
• 2020年と2021年のデータセットに年単位で分割して、標準的およびTwitter最適化された言語モデル（例：RoBERTa）をファインチューニングし、時系列的性能シフトを評価した。
• 自己ラベル付けの有効性を評価するため、より大きなコーパスから文脈的に関連するツイートを検索し、周囲の文脈に基づいて予測の再スコアリングを実施した。
• 検索ベースのモジュール（Whoosh）を用いた文脈的予測分析により、周囲のツイートが誤った予測を是正する役割を果たすかどうかを評価した。

Figure 1: The instructions shown to the annotators during the annotation phase.

実験結果

リサーチクエスチョン

• RQ1 Twitterデータにおいて、NERモデルの性能は短期間（例：数か月）の期間にわたりどのように低下するのか？
• RQ2 古いデータで学習されたNERモデルに対して、自己ラベル付けが時系列的シフトを効果的に緩和できるか？
• RQ3 近接するツイートからの文脈的情報は、時間経過に伴いモデルの誤りを是正する上でどのような役割を果たすのか？
• RQ4 モデルの予測は時間経過に伴って一貫しており、時系列的シフトがあってもバイアスが持続するのか？
• RQ5 異なるファインチューニング戦略は、時間的期間を越えて一般化を向上させるのにどの程度有効なのか？

主な発見

• TweetNER7データセットには、7種類のエンティティタイプをカバーする11,382件の高品質で時系列に配分されたツイートが含まれており、広範なエンティティカバレッジを持つ最大級のTwitter NERデータセットの一つである。
• 2020年のデータでファインチューニングされたNERモデルは、2021年のテストデータに対して顕著な性能低下を示しており、強い短期的な時系列的シフトが存在することが示された。
• 自己ラベル付けは、通常のファインチューニングに比べてモデル性能の向上をもたらさなかったため、この文脈では自己ラベル付けが時系列的シフトを緩和するのに不十分であることが示唆された。
• 検索された文脈的ツイートの2番目に頻出する予測がしばしば正解であったため、自己ラベル付けコーパスに潜在的な信号が存在しているが、現在のモデルがそれを活用できていないことが示唆された。
• モデルの予測は時間経過にわたり非常に一貫しており、同じ誤った予測が繰り返し現れるため、動的な誤りパターンではなく、持続的なバイアスが存在することが示された。
• 文脈的予測分析の結果、元の予測が繰り返される一方で、正しいエンティティタイプが周囲のツイートに頻繁に存在しており、文脈情報の潜在的価値がまだ十分に活用されていないことが示された。

Figure 2: Entity-wise F1 score breakdown from the baseline results in the 2021 test set ( Table 5 ).