[논문 리뷰] Annotating the Tweebank Corpus on Named Entity Recognition and Building NLP Models for Social Media Analysis

Hang Jiang, Yining Hua외 2명|arXiv (Cornell University)|2022. 01. 18.

Topic Modeling인용 수 13

한 줄 요약

이 논문은 트위터를 위한 고품질의 Universal Dependencies 트리뱅크인 Tweebank V2를 기반으로 한 새로운 영어 명명된 실체 인식(NER) 코퍼스인 Tweebank-NER를 소개한다. 이는 Stanza와 BERTweet를 사용하여 최신 NLP 모델을 훈련시켜 품사 태깅 및 의존 구조 분석에서 최고 성능(SOTA)을 달성하며, 데이터셋, 모델, 그리고 향후 연구를 위한 즉시 사용 가능한 트위터 NLP 파이프라인인 Twitter-Stanza를 공개한다.

ABSTRACT

Social media data such as Twitter messages ("tweets") pose a particular challenge to NLP systems because of their short, noisy, and colloquial nature. Tasks such as Named Entity Recognition (NER) and syntactic parsing require highly domain-matched training data for good performance. To date, there is no complete training corpus for both NER and syntactic analysis (e.g., part of speech tagging, dependency parsing) of tweets. While there are some publicly available annotated NLP datasets of tweets, they are only designed for individual tasks. In this study, we aim to create Tweebank-NER, an English NER corpus based on Tweebank V2 (TB2), train state-of-the-art (SOTA) Tweet NLP models on TB2, and release an NLP pipeline called Twitter-Stanza. We annotate named entities in TB2 using Amazon Mechanical Turk and measure the quality of our annotations. We train the Stanza pipeline on TB2 and compare with alternative NLP frameworks (e.g., FLAIR, spaCy) and transformer-based models. The Stanza tokenizer and lemmatizer achieve SOTA performance on TB2, while the Stanza NER tagger, part-of-speech (POS) tagger, and dependency parser achieve competitive performance against non-transformer models. The transformer-based models establish a strong baseline in Tweebank-NER and achieve the new SOTA performance in POS tagging and dependency parsing on TB2. We release the dataset and make both the Stanza pipeline and BERTweet-based models available "off-the-shelf" for use in future Tweet NLP research. Our source code, data, and pre-trained models are available at: \url{https://github.com/social-machines/TweebankNLP}.

연구 동기 및 목표

• 트위터 텍스트를 위한 NER와 문법적 구조 태깅을 통합한 고품질 훈련 코퍼스의 부족을 해결하기 위해.
• 도메인에 맞는 데이터셋을 구축하고 전문화된 모델을 훈련시켜, 잡음이 많고 비공식적인 소셜 미디어 텍스트에서의 NLP 성능을 향상시키기 위해.
• 기존의 전통적 모델과 트랜스포머 기반 모델을 모두 지원하는 접근성 있고 즉시 사용 가능한 NLP 파이프라인(Twitter-Stanza)을 개발하고 공개하기 위해.
• NER, 품사 태깅, 의존 구조 분석과 같은 핵심 트위터 NLP 작업에서 Stanza, FLAIR, spaCy, BERTweet의 성능을 평가하기 위해.

제안 방법

• 일致성 확보를 위해 Universal Dependencies 지침을 따르며, Amazon Mechanical Turk를 활용해 Tweebank V2의 명명된 실체를 주석 처리했다.
• 주석 품질을 보장하기 위해 상호 주석자 간 일致도 측정 지표를 사용하여 새로운 Tweebank-NER 코퍼스의 신뢰성을 확보했다.
• 토크나이저, 어간 추출, 품사 태깅, 의존 구조 분석, NER를 포함한 Tweebank-NER에 맞게 Stanza NLP 파이프라인을 미세 조정했다.
• 비-트랜스포머 모델과 비교하여 트위터 전용 NLP 작업에서의 성능 향상을 평가하기 위해 BERTweet 기반 모델을 훈련하고 비교했다.
• GitHub를 통해 Tweebank-NER 데이터셋, 사전 훈련된 Stanza 모델, BERTweet 기반 모델을 오픈 액세스 및 재사용 가능하게 공개했다.
• NER의 F1 스코어와 POS 및 파싱의 정확도를 포함한 표준 지표를 사용하여 여러 NLP 작업에서의 모델 성능을 평가했다.

실험 결과

연구 질문

• RQ1 Tweebank-NER의 명명된 실체 주석 품질은 상호 주석자 간 일치도로 측정했을 때 어떻게 되는가?
• RQ2 비-트위터 데이터에서 훈련된 기존 NER 모델이 Tweebank-NER 코퍼스에 얼마나 잘 일반화되는가?
• RQ3 Stanza 파이프라인은 다른 NLP 프레임워크(예: FLAIR, spaCy)와 비교해 핵심 트위터 NLP 작업에서 어떻게 성능을 내는가?
• RQ4 트랜스포머 기반 모델(예: BERTweet)은 비-트랜스포머 모델에 비해 트위터 NLP 작업에서 어떤 성능 향상을 달성하는가?

주요 결과

• Tweebank-NER 코퍼스는 높은 상호 주석자 간 일치도를 기록하여 인간 주석 기반의 명명된 실체 레이블의 신뢰성을 확인했다.
• Stanza 토크나이저와 어간 추출기가 Tweebank-NER에서 최고 성능을 기록했으며, 트위터 전용 텍스트에서 기존 도구들을 능가했다.
• Stanza의 NER 태거, 품사 태거, 의존 구조 분석기는 비-트랜스포머 모델 대비 경쟁 가능한 성능을 기록했으며, 잡음이 많은 트위터 텍스트에서 강력한 일반화 능력을 보였다.
• 트랜스포머 기반 모델, 특히 BERTweet는 Tweebank-NER에서 품사 태깅과 의존 구조 분석 분야에서 새로운 최고 성능(SOTA)을 수립했으며, 비-트랜스포머 기반 베이스라인을 초월했다.
• 공개된 Twitter-Stanza 파이프라인과 사전 훈련된 모델은 즉시 사용 가능하며, 향후 트위터 NLP 연구에 즉각 활용할 수 있다.