[論文レビュー] Annotating the Tweebank Corpus on Named Entity Recognition and Building NLP Models for Social Media Analysis

Hang Jiang, Yining Hua+2 more|arXiv (Cornell University)|Jan 18, 2022

Topic Modeling被引用数 13

ひとこと要約

本論文は、Twitter用の高品質なUniversal Dependencies木構造語彙であるTweebank V2に基づいてアノテートされた、新しい英語名前付きエンティティ認識（NER）コーパス「Tweebank-NER」を紹介する。Stanford NLP（Stanza）およびBERTweetを用いて最先端のNLPモデルを訓練し、品詞タギングおよび依存構文解析で最先端の性能を達成した。また、データセット、モデル、および将来の研究を支援するためのオフザシェルTwitter NLPパイプライン「Twitter-Stanza」を公開した。

ABSTRACT

Social media data such as Twitter messages ("tweets") pose a particular challenge to NLP systems because of their short, noisy, and colloquial nature. Tasks such as Named Entity Recognition (NER) and syntactic parsing require highly domain-matched training data for good performance. To date, there is no complete training corpus for both NER and syntactic analysis (e.g., part of speech tagging, dependency parsing) of tweets. While there are some publicly available annotated NLP datasets of tweets, they are only designed for individual tasks. In this study, we aim to create Tweebank-NER, an English NER corpus based on Tweebank V2 (TB2), train state-of-the-art (SOTA) Tweet NLP models on TB2, and release an NLP pipeline called Twitter-Stanza. We annotate named entities in TB2 using Amazon Mechanical Turk and measure the quality of our annotations. We train the Stanza pipeline on TB2 and compare with alternative NLP frameworks (e.g., FLAIR, spaCy) and transformer-based models. The Stanza tokenizer and lemmatizer achieve SOTA performance on TB2, while the Stanza NER tagger, part-of-speech (POS) tagger, and dependency parser achieve competitive performance against non-transformer models. The transformer-based models establish a strong baseline in Tweebank-NER and achieve the new SOTA performance in POS tagging and dependency parsing on TB2. We release the dataset and make both the Stanza pipeline and BERTweet-based models available "off-the-shelf" for use in future Tweet NLP research. Our source code, data, and pre-trained models are available at: \url{https://github.com/social-machines/TweebankNLP}.

研究の動機と目的

• Twitterのテキストに対してNERと句構造的アノテーションを統合した高品質な学習コーパスが不足しているという問題に取り組む。
• ドメインに適合したデータセットを構築し、専用のモデルを訓練することで、ノイジーで非公式なソーシャルメディアテキストにおけるNLPのパフォーマンスを向上させる。
• 従来のモデルとトランスフォーマーに基づくモデルの両方をサポートする、アクセスしやすいオフザシェルNLPパイプライン（Twitter-Stanza）を開発・公開する。
• Stanza、FLAIR、spaCy、BERTweetの各モデルが、NER、品詞タギング、依存構文解析といった基本的なTwitter NLPタスクにおいて、どの程度のパフォーマンスを示すかを評価する。

提案手法

• Universal Dependenciesのガイドラインに従い、Amazon Mechanical Turkを用いてTweebank V2の名前付きエンティティをアノテートした。
• アノテーター間的一致性指標を測定することで、Tweebank-NERコーパスのアノテーション品質を確認した。
• トークナイゼーション、語彙還元、品詞タギング、依存構文解析、NERの各タスクについて、Tweebank-NERで微調整されたStanza NLPパイプラインを適用した。
• 非トランスフォーマー型モデルと比較して、BERTweetベースのモデルの性能向上を評価するため、訓練および比較を行った。
• GitHubを通じてTweebank-NERデータセット、事前学習済みStanzaモデル、BERTweetベースのモデルをオープンアクセスで公開した。
• F1スコア（NER用）、正答率（品詞タギングおよび構文解析用）といった標準的な指標を用いて、複数のNLPタスクにおけるモデル性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 Tweebank-NERにおける名前付きエンティティアノテーションの品質は、アノテーター間的一致性指標によってどの程度の水準に達しているか？
• RQ2 非Twitterデータで学習された既存のNERモデルは、Tweebank-NERコーパスにどの程度一般化できるか？
• RQ3 Stanzaパイプラインは、他のNLPフレームワーク（例：FLAIR、spaCy）と比較して、基本的なTwitter NLPタスクでどの程度の性能を示すか？
• RQ4 トランスフォーマー型モデル（例：BERTweet）は、非トランスフォーマー型モデルと比較して、Twitter固有のNLPタスクでどの程度のパフォーマンス向上を達成するか？

主な発見

• Tweebank-NERコーパスは高いアノテーター間的一致性を達成しており、人手による名前付きエンティティラベルの信頼性が裏付けられた。
• Stanzaのトークナイザーおよび語彙還元器は、Tweebank-NERで最先端のパフォーマンスを達成し、Twitter固有のテキスト処理において既存のツールを上回った。
• StanzaのNERタガーや品詞タガーや依存構文解析器は、非トランスフォーマー型モデルと比較して競争力のある性能を示し、ノイジーなTwitterテキストにおける一般化能力の高さを実証した。
• トランスフォーマー型モデル、特にBERTweetは、Tweebank-NERにおける品詞タギングおよび依存構文解析で新たな最先端性能を樹立し、非トランスフォーマー型ベースラインを上回った。
• 公開されたTwitter-Stanzaパイプラインおよび事前学習済みモデルは、即座に利用可能な形で提供され、将来のTwitter NLP研究を支援できる。