[논문 리뷰] COVID-Twitter-BERT: A Natural Language Processing Model to Analyse COVID-19 Content on Twitter

Martín Müller, Marcel Salathé외 1명|arXiv (Cornell University)|2020. 05. 15.

Misinformation and Its Impacts인용 수 135

한 줄 요약

COVID-Twitter-BERT (CT-BERT)는 COVID-19 트위터 데이터를 사전학습한 도메인 특화 BERT 모델이며 COVID-19 콘텐츠를 특히 포함한 다섯 가지 트위터 기반 분류 작업에서 BERT-Large보다 향상된 성능을 보여준다.

ABSTRACT

In this work, we release COVID-Twitter-BERT (CT-BERT), a transformer-based model, pretrained on a large corpus of Twitter messages on the topic of COVID-19. Our model shows a 10-30% marginal improvement compared to its base model, BERT-Large, on five different classification datasets. The largest improvements are on the target domain. Pretrained transformer models, such as CT-BERT, are trained on a specific target domain and can be used for a wide variety of natural language processing tasks, including classification, question-answering and chatbots. CT-BERT is optimised to be used on COVID-19 content, in particular social media posts from Twitter.

연구 동기 및 목표

• 사회적 미디어에서 COVID-19 콘텐츠에 대한 NLP 분석 개선 동기 부여.
• COVID-19 트위터 데이터에 대한 사전학습으로 도메인 특화 트랜스포머 모델 개발.
• 다양한 트위터 기반 작업에서 CT-BERT를 일반 도메인 모델과 비교 평가.

제안 방법

• Crowdbreaks를 통해 수집된 160 million COVID-19 트윗에서 BERT-Large 모델 사전학습.
• 리트윗 제거 및 중복 제거, 사용자 이름 및 URL의 익명화로 데이터 정제.
• 30,000 단어 어휘로 토큰화하고 시퀀스 길이를 96으로 제한.
• 학습률 2e-5로 고정하고 10x 중복 계수로 285M 학습 예시 생성.
• 다섯 개의 다운스트림 분류 데이터셋에서 CT-BERT를 BERT-Large와 비교 평가하며 다수의 파인튜닝 실행.
• 재현성을 위한 GitHub를 통한 코드 및 모델 접근성 제공.

실험 결과

연구 질문

• RQ1 도메인 특화 사전학습이 COVID-19 트위터 데이터에서 일반 도메인 모델에 비해 다운스트림 분류 성능을 향상시키는가?
• RQ2 COVID-19 관련 작업에서 비 COVID 트위터 작업에 비해 얻는 이점은 얼마나 큰가?
• RQ3 사전학습 단계와 다운스트림 성능 간의 관계는 작업 간에 어떻게 나타나는가?

주요 결과

• CT-BERT가 평균 F1을 0.802(BERT-Large)에서 0.833로 향상시켰다.
• 가장 큰 상대적 개선(ΔMP)은 COVID-19 카테고리 데이터셋에서 25.88%이다.
• 백신 감정(MVS)은 17.07%, SST-2는 10.67%, SE는 8.97%, 그리고 평균 ΔMP는 17.57%이다.
• CT-BERT는 건강 관련 COVID-19 콘텐츠에서 특히 COVID-19 및 백신 관련 트윗 데이터에서 가장 큰 이득을 얻는다.
• 중간 단계의 사전학습 체크포인트에서 대부분의 다운스트림 이득은 100–200k 단계에서 발생하고 그 이후 수익은 감소한다.