[논문 리뷰] METS-CoV: A Dataset of Medical Entity and Targeted Sentiment on COVID-19 Related Tweets

Peilin Zhou, Zeqiang Wang외 7명|arXiv (Cornell University)|2022. 09. 28.

Misinformation and Its Impacts인용 수 10

한 줄 요약

이 논문은 코로나19 관련 트윗에서 의료 실체와 대상 감성에 대해 7종류의 실체 유형과 감성 레이블을 포함해 애너테이션된 METS-CoV라는 의료 실체 및 대상 감성 분석 데이터셋을 소개한다. 이는 의료 소셜 미디어 분석 및 공중보건 연구를 위한 기초 자원을 확립하며, 전통적 기계학습 및 딥러닝 모델에 대한 벤치마크를 제공한다. 이는 의료 실체 인식(NER)과 대상 감성 분석에서 향상 여지가 크다는 것을 드러내며, 향후 연구에 기여한다.

ABSTRACT

The COVID-19 pandemic continues to bring up various topics discussed or debated on social media. In order to explore the impact of pandemics on people's lives, it is crucial to understand the public's concerns and attitudes towards pandemic-related entities (e.g., drugs, vaccines) on social media. However, models trained on existing named entity recognition (NER) or targeted sentiment analysis (TSA) datasets have limited ability to understand COVID-19-related social media texts because these datasets are not designed or annotated from a medical perspective. This paper releases METS-CoV, a dataset containing medical entities and targeted sentiments from COVID-19-related tweets. METS-CoV contains 10,000 tweets with 7 types of entities, including 4 medical entity types (Disease, Drug, Symptom, and Vaccine) and 3 general entity types (Person, Location, and Organization). To further investigate tweet users' attitudes toward specific entities, 4 types of entities (Person, Organization, Drug, and Vaccine) are selected and annotated with user sentiments, resulting in a targeted sentiment dataset with 9,101 entities (in 5,278 tweets). To the best of our knowledge, METS-CoV is the first dataset to collect medical entities and corresponding sentiments of COVID-19-related tweets. We benchmark the performance of classical machine learning models and state-of-the-art deep learning models on NER and TSA tasks with extensive experiments. Results show that the dataset has vast room for improvement for both NER and TSA tasks. METS-CoV is an important resource for developing better medical social media tools and facilitating computational social science research, especially in epidemiology. Our data, annotation guidelines, benchmark models, and source code are publicly available (https://github.com/YLab-Open/METS-CoV) to ensure reproducibility.

연구 동기 및 목표

• 코로나19 팬데믹 기간 동안 소셜 미디어에서 대중의 감성 분석을 위한 의료 분야 특화 데이터셋 부족 문제를 해결하기 위해.
• 실제 트위터 논의에서 의료 실체(예: 약물, 백신)와 사용자 감성의 양상을 모두 포괄하는 데이터셋을 개발하기 위해.
• epidemiological 및 공중보건 연구에 특화된 더 정확한 NLP 도구 개발을 지원하기 위해.
• 재현 가능한 벤치마크, 애너테이션 가이드라인 및 코드를 제공하여 의료 분야의 컴퓨팅 사회과학 발전을 지원하기 위해.

제안 방법

• 10,000개의 공개 가능하고 익명화된 코로나19 관련 트윗은 트위터 API를 통해 수집되었다.
• 총 7종류의 실체 유형이 애너테이션되었으며, 이는 4종류의 의료 유형(Disease, Drug, Symptom, Vaccine)과 3종류의 일반 유형(Person, Location, Organization)이다.
• 대상 감성 분석을 위해 4종류의 실체 유형(Person, Organization, Drug, Vaccine)을 선정하고 감성 극성(긍정, 부정, 중립)으로 애너테이션하였다.
• 일관성과 주관성 감소를 위해 다중 라운드 훈련, 쌍체 애너테이션 및 제3자 검증을 포함한 철저한 애너테이션 프로토콜을 적용하였다.
• 데이터셋을 사용하여 전통적 기계학습 및 최신 딥러닝 모델을 의료 실체 인식(NER) 및 대상 감성 분석(TSA) 작업에 대해 벤치마크하였다.
• 데이터셋, 애너테이션 가이드라인 및 코드는 재현 가능성과 커뮤니티 재사용을 보장하기 위해 GitHub에 공개되었다.

실험 결과

연구 질문

• RQ1 기존 NLP 모델은 소음이 많고 비공식적인 코로나19 관련 트윗에서 의료 실체 인식(NER) 작업을 얼마나 잘 수행하는가?
• RQ2 대상 감성 분석 모델은 소셜 미디어 텍스트에서 특정 의료 실체(예: 백신, 약물)에 대한 사용자 감성을 얼마나 정확히 구분할 수 있는가?
• RQ3 실제 의료 소셜 미디어 데이터에서 감성 애너테이션의 라벨 불균형과 주관성은 모델 성능에 어떤 영향을 미치는가?
• RQ4 제안된 데이터셋은 향후 공중보건 및 의료 소셜 미디어 분석 분야의 NLP 모델 훈련 및 평가를 위한 신뢰할 수 있는 벤치마크로 기능할 수 있는가?

주요 결과

• METS-CoV 데이터셋은 10,000개의 트윗을 포함하며, 7종류의 실체 유형(의료 유형 4종류 포함)과 5,278개의 트윗에서 9,101개의 감성 레이블이 부여된 실체를 포함한다.
• 벤치마크 결과는 기존 모델이 NER 및 대상 감성 분석 작업 모두에서 향상 여지가 크다는 것을 보여주며, 이는 데이터셋의 복잡성과 모델 개발에 있어 가치를 반영한다.
• 데이터셋은 감성 애너테이션에서 뚜렷한 라벨 불균형을 보이며, 중립 감성 비율이 높아 모델 일반화에 영향을 미친다.
• 실체 유형에 따라 성능이 다름을 확인하였으며, 희귀 실체의 경우 F1 점수가 낮게 나타나 데이터 증강 또는 도메인 적응 모델링의 필요성을 강조한다.
• 구조화된 가이드라인, 훈련 및 검증을 통해 애너테이션 과정에서 높은 상호 애너테이터 일致도를 달성하였으며, 고유한 도전 과제에도 불구하고 주관성을 감소시켰다.
• 데이터셋, 가이드라인 및 코드의 공개는 재현 가능한 연구를 가능하게 하며, 공중보건 응용 분야에서 더 정확하고 도메인 특화된 NLP 도구 개발을 지원한다.