[論文レビュー] TweetNERD -- End to End Entity Linking Benchmark for Tweets

Shubhanshu Mishra, Aman Saini+4 more|arXiv (Cornell University)|Oct 14, 2022

Topic Modeling被引用数 4

ひとこと要約

TweetNERD は、340,000件を超えるアノテート済みツイートを用いた大規模かつ時間的に多様なベンチマークであり、名前付きエンティティ認識および解釈（NERD）を目的としており、メンションをWikidataのエンティティにリンクする。これは、3つのタスク（NER、真のスパンを用いたエンティティリンク、エンドツーエンドのリンク）の評価を可能にし、ドメイン外（OOD）および時間的一般化を評価するための2つの専用スプリット（OODおよび学術的）を提供する。GENRE、REL、NLAI API を含む最先端モデルのベースライン性能も報告されている。

ABSTRACT

Named Entity Recognition and Disambiguation (NERD) systems are foundational for information retrieval, question answering, event detection, and other natural language processing (NLP) applications. We introduce TweetNERD, a dataset of 340K+ Tweets across 2010-2021, for benchmarking NERD systems on Tweets. This is the largest and most temporally diverse open sourced dataset benchmark for NERD on Tweets and can be used to facilitate research in this area. We describe evaluation setup with TweetNERD for three NERD tasks: Named Entity Recognition (NER), Entity Linking with True Spans (EL), and End to End Entity Linking (End2End); and provide performance of existing publicly available methods on specific TweetNERD splits. TweetNERD is available at: https://doi.org/10.5281/zenodo.6617192 under Creative Commons Attribution 4.0 International (CC BY 4.0) license. Check out more details at https://github.com/twitter-research/TweetNERD.

研究の動機と目的

• Twitterにおける名前付きエンティティ認識および解釈（NERD）のための、大規模かつ時間的に多様で、持続可能なデータセットが不足しているという問題に対処すること。
• Named Entity Recognition（NER）、Entity Linking with True Spans（EL）、エンドツーエンドのエンティティリンク（End2End）の複数のタスクをカバーするベンチマークを提供すること。
• ドメインおよび時間的期間の両方におけるモデルの一般化能力を評価できるように、2つの異なるスプリット（TweetNERD-OOD（ドメイン外）およびTweetNERD-Academic（時間的に多様で、既存のベンチマークから再アノテートされたもの））を提供すること。
• 学術的スプリットを介して長期間にわたり持続可能な一貫性のあるアノテーションガイドラインを備えた、公開可能で CC BY ライセンスのデータセットを提供することで、堅牢な NERD モデルの研究を支援すること。

提案手法

• アノテーションは社内訓練済みのアノテーターが実施し、名前付きエンティティのメンションを識別し、詳細なガイドラインを備えたカスタムアノテーションインターフェースを用いてWikidataのエンティティにリンクした。
• 時間的多様性を確保し、時間的期間バイアスを低減するために、広い時間窓（2010–2021）からツイートをサンプリングした。
• 2つの評価スプリットを生成した：TweetNERD-OOD は、より解釈が難しいエンティティを含む短い時間フレームに焦点を当てており、TweetNERD-Academic は、非削除で時間的に多様なツイートを含み、既存の学術的ベンチマークから再アノテートされたものである。
• メンションオフセットにはバイトレベルの UTF-16-BE エンコーディングが使用され、リンクされていないメンションには NIL ラベルが含まれる。
• 標準的な NERD メトリクスを用いて評価が行われ、エンドツーエンドタスクでは entity_match、スパン予測にはオフセット対応のメトリクスが使用された。
• すべてのスプリットで、1台の A100 GPU を用いて、StanzaNLP、spaCy、AllenNLP、BERTweet、GENRE、REL、Lookup、TagMe、DBPedia Spotlight、Google の NLAI API を含むベースラインモデルが評価された。

実験結果

リサーチクエスチョン

• RQ1 一貫性のあるアノテーションを持つ大規模かつ時間的に多様な Twitter ベンチマークにおいて、既存の NERD システムはどの程度の性能を示すか？
• RQ2 モデルはドメイン外（OOD）および時間的に離れたテストセットに対してどの程度一般化できるか？
• RQ3 Wikipedia 共起性に基づく正確一致のヒューリスティックなベースラインと、最先端のニューラルモデルは、Twitter 特化の NERD タスクにおいてどのように比較されるか？
• RQ4 Twitter NERD におけるパフォーマンスの上限と誤りパターン、特にスパン境界予測に関するものとは何か？
• RQ5 知識ベース（Wikidata）およびアノテーションフォーマット（バイトオフセット）の選択が、モデル評価およびシステム設計にどのように影響を与えるか？

主な発見

• Google の NLAI API は、エンドツーエンドのエンティティリンクタスクにおいて、GENRE や REL のような専用モデルを上回る最高のパフォーマンスを、TweetNERD-OOD スプリットで達成した。
• TweetNERD-Academic スプリットでは、REL と GENRE が NLAI API に非常に近いパフォーマンスを示し、時間的に多様なデータに対して強い一般化能力を示した。
• Wikipedia 共起性に基づく単純な Lookup ヒューリスティックは、EL およびエンドツーエンドタスクの両方で強く、特に学術的スプリットで顕著で、人気ベースのベースラインの価値を示した。
• TwitterNER と AllenNLP は、OOD および学術的スプリットの両方で NER システムとして最高のパフォーマンスを示し、主に誤ったスパン境界予測に起因するエラーが見られた。
• アノテーター間アノテーション整合性は中程度であり、アノテーションタスクの本質的な難易度を示しており、これが現在のシステムのパフォーマンス上限を示している。
• TweetNERD のオフセットベースのフォーマットは、従来の NER システムに課題をもたらし、元のテキストオフセットを返すための修正を要するが、entity_match メトリクスはエンドツーエンド評価のためのトークン化に依存しない代替手段を提供する。