[논문 리뷰] Named Entity Recognition in Twitter: A Dataset and Analysis on Short-Term Temporal Shifts

Asahi Ushio, Leonardo Neves외 3명|arXiv (Cornell University)|2022. 10. 07.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 2019년 9월부터 2021년 8월까지 시간에 따라 분포된 11,382개의 트윗을 포함한 새로운 영어 NER 데이터셋인 TweetNER7을 소개하며, NER 성능의 단기적 시간적 이동을 분석한다. 자기 레이블링 및 피니튜닝 전략을 사용함에도 불구하고 모델은 시간이 지남에 따라 지속적인 성능 저하를 보이며, 이는 현재의 보완 기법을 초월해 소셜 미디어 텍스트의 시간적 이동이 여전히 중요한 과제임을 시사한다.

ABSTRACT

Recent progress in language model pre-training has led to important improvements in Named Entity Recognition (NER). Nonetheless, this progress has been mainly tested in well-formatted documents such as news, Wikipedia, or scientific articles. In social media the landscape is different, in which it adds another layer of complexity due to its noisy and dynamic nature. In this paper, we focus on NER in Twitter, one of the largest social media platforms, and construct a new NER dataset, TweetNER7, which contains seven entity types annotated over 11,382 tweets from September 2019 to August 2021. The dataset was constructed by carefully distributing the tweets over time and taking representative trends as a basis. Along with the dataset, we provide a set of language model baselines and perform an analysis on the language model performance on the task, especially analyzing the impact of different time periods. In particular, we focus on three important temporal aspects in our analysis: short-term degradation of NER models over time, strategies to fine-tune a language model over different periods, and self-labeling as an alternative to lack of recently-labeled data. TweetNER7 is released publicly (https://huggingface.co/datasets/tner/tweetner7) along with the models fine-tuned on it.

연구 동기 및 목표

• 단기적 의미적 이동을 포착하는 대규모이고 시간에 따라 다양화된 트위터 NER 데이터셋의 부족을 해결하기 위해.
• 사전 훈련된 언어 모델이 소셜 미디어 텍스트에서 짧은 시간 간격(예: 수개월) 동안 성능이 어떻게 저하되는지 조사하기 위해.
• 자기 레이블링 및 피니튜닝 전략이 NER에서 시간적 이동을 완화하는 데 얼마나 효과적인지 평가하기 위해.
• 소셜 미디어에서 시간에 따른 NER 분석을 위한 기준 데이터셋과 기준 모델을 제공하기 위해.
• 트위터에서 시간에 따라 변화하는 의미적 특성과 관련된 모델의 편향과 실패 패턴을 규명하기 위해.

제안 방법

• 2019년 9월부터 2021년 8월까지 주간 트렌딩 키워드를 사용해 트윗을 수집함으로써 주제의 다양성과 시간적 균형을 확보하여 TweetNER7을 구축하였다.
• 7개의 엔티티 유형(사람, 장소, 기업, 창작물, 단체, 제품, 이벤트)으로 11,382개의 트윗을 주석 처리하였다.
• 유사한 중복 및 관련 없는 트윗을 제거하여 데이터 품질을 향상시키고 노이즈를 감소시켰다.
• 2020년과 2021년 데이터셋으로 분할된 훈련 세트를 사용해 표준 및 트위터 최적화된 언어 모델(RoBERTa 등)을 피니튜닝하여 시간에 따른 성능 이동을 평가하였다.
• 더 큰 코퍼스에서 맥락적으로 관련 있는 트윗을 검색하여 예측을 재평가하는 방식으로 자기 레이블링 효과를 평가하였다.
• 검색 기반 모듈(Whoosh)을 사용해 맥락적 예측 분석을 수행하여 주변 트윗이 잘못된 예측을 수정하는 데 기여하는지 평가하였다.

Figure 1: The instructions shown to the annotators during the annotation phase.

실험 결과

연구 질문

• RQ1 트위터 데이터에서 NER 모델 성능은 짧은 시간 간격(예: 수개월) 동안 어떻게 저하되는가?
• RQ2 이전 데이터로 훈련된 NER 모델에서 자기 레이블링이 시간적 이동을 효과적으로 완화할 수 있는가?
• RQ3 근처 트윗에서의 맥락 정보는 시간이 지남에 따라 모델 오류를 수정하는 데 어떤 역할을 하는가?
• RQ4 모델 예측은 시간에 따라 얼마나 일관성이 있으며, 시간적 이동이 있더라도 편향은 지속되는가?
• RQ5 다양한 피니튜닝 전략은 시간 간격을 넘어 일반화를 얼마나 향상시키는가?

주요 결과

• TweetNER7 데이터셋은 7개의 엔티티 유형을 포함한 고품질의 시간에 따라 분포된 11,382개의 트윗을 포함하며, 넓은 엔티티 커버리지로 인해 가장 큰 트위터 NER 데이터셋 중 하나이다.
• 2020년 데이터로 피니튜닝한 NER 모델은 2021년 테스트 데이터에서 성능 저하가 심하게 나타나, 강력한 단기적 시간적 이동이 있음을 시사한다.
• 자기 레이블링은 일반적인 피니튜닝 대비 성능 향상을 이끌지 못했으며, 이는 이 맥락에서 시간적 이동을 완화하는 데 부적합함을 시사한다.
• 검색된 맥락적 트윗에서 두 번째로 자주 나타나는 예측은 종종 올바르게, 즉 잠재된 신호가 자동으로 생성된 코퍼스에 존재하지만 현재 모델이 이를 활용하지 못하고 있음을 시사한다.
• 모델 예측은 시간에 따라 매우 일관성이 있었으며, 동일한 잘못된 예측이 반복되어 나타나, 동적 오류 패tern이 아닌 지속적인 편향이 있음을 시사한다.
• 맥락적 예측 분석 결과, 원래 예측은 자주 반복되었지만, 올바른 엔티티 유형은 자주 주변 트윗에 존재했으며, 이는 아직 활용되지 않은 맥락적 유용성이 있음을 암시한다.

Figure 2: Entity-wise F1 score breakdown from the baseline results in the 2021 test set ( Table 5 ).