[논문 리뷰] AraCOVID19-SSD: Arabic COVID-19 Sentiment and Sarcasm Detection Dataset

Mohamed Seghir Hadj Ameur, Hassina Aliane|arXiv (Cornell University)|2021. 10. 05.

Sentiment Analysis and Opinion Mining참고 문헌 22인용 수 5

한 줄 요약

이 논문은 코로나19 팬데믹 기간 동안 이중 작업인 감성 및 풍자 감지에 사용할 수 있는 수작업으로 주석 처리된 아랍어 트위터 데이터셋 AraCOVID19-SSD를 소개한다. 총 5,162건의 트윗으로 구성된 이 데이터셋을 바탕으로, bag-of-words 및 트랜스포머 모델(예: BERT-multi 및 Arabert)을 사용한 연구에서 풍자 감지의 F-스코어가 0.95 이상, 감성 분석의 F-스코어가 0.92 이상으로 높은 성능을 기록하여, 저자원 및 저자원 아랍어 환경에서의 NLP 연구에 있어 이 데이터셋의 유용성을 입증한다.

ABSTRACT

Coronavirus disease (COVID-19) is an infectious respiratory disease that was first discovered in late December 2019, in Wuhan, China, and then spread worldwide causing a lot of panic and death. Users of social networking sites such as Facebook and Twitter have been focused on reading, publishing, and sharing novelties, tweets, and articles regarding the newly emerging pandemic. A lot of these users often employ sarcasm to convey their intended meaning in a humorous, funny, and indirect way making it hard for computer-based applications to automatically understand and identify their goal and the harm level that they can inflect. Motivated by the emerging need for annotated datasets that tackle these kinds of problems in the context of COVID-19, this paper builds and releases AraCOVID19-SSD a manually annotated Arabic COVID-19 sarcasm and sentiment detection dataset containing 5,162 tweets. To confirm the practical utility of the built dataset, it has been carefully analyzed and tested using several classification models.

연구 동기 및 목표

• 코로나19 팬데믹 맥락에서 풍자 및 감성 감지에 대한 수작업 주석 처리된 아랍어 데이터셋 부족 문제를 해결하기 위해.
• 저자원 및 저자원 상황에서도 활용 가능한 고품질의 수작업 주석 처리 데이터셋을 제공하여 아랍어 NLP 연구를 지원하기 위해.
• 기존의 bag-of-words 모델과 최신 트랜스포머 모델을 포함한 다양한 모델의 성능을 제안된 데이터셋에서 평가하기 위해.
• 공중보건 위기 상황에서 아랍어 소셜 미디어의 풍자 및 감성 감지 작업에 대한 기준 성능을 수립하기 위해.
• 데이터셋을 공개하고 새로운 최신 트윗을 추가로 보완할 수 있도록 유도하여 향후 연구를 지원하기 위해.

제안 방법

• 데이터셋은 코로나19 팬데믹과 관련된 키워드를 사용해 트위터에서 수집되었으며, 주로 아랍어 콘텐츠에 집중하였다.
• 각 트윗은 감성(긍정, 부정, 중립) 및 풍자(풍자적 또는 비풍자적)의 두 가지 작업에 대해 전문가들이 수작업으로 주석 처리하였다.
• 고품질 레이블링을 확보하기 위해 상호 주석자 간 일致도 검사를 철저히 실시하였다.
• 다양한 분류 모델을 훈련하고 평가하였으며, 로지스틱 회귀, 랜덤 포레스트, SVM, 트랜스포머 기반 모델(XLM-RoBERTa, BERT-multi, Arabert)을 포함하였다.
• 강건한 평가와 신뢰할 수 있는 성능 지표 확보를 위해 전략적 5폴드 교차검증을 사용하였다.
• 성능은 가중 F-스코어로 측정하였으며, 두 작업 모두 정밀도, 재현도, F1-스코어를 보고하였다.

실험 결과

연구 질문

• RQ1 기존의 bag-of-words 모델은 아랍어 코로나19 트윗에서 풍자 및 감성 감지에 얼마나 효과적인가?
• RQ2 BERT 및 XLM-RoBERTa와 같은 사전 훈련된 트랜스포머 모델을 이 아랍어 NLP 작업에 적용할 경우 어떤 성능 향상이 기대되는가?
• RQ3 수작업 주석 처리된 데이터셋의 품질과 크기는 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ4 저자원 아랍어 텍스트에서 풍자 감지에 가장 높은 F-스코어를 기록하는 모델 아키텍처는 무엇인가?
• RQ5 이 데이터셋의 주석 스키마는 아랍어 소셜 미디어 NLP에서 신뢰할 수 있고 재현 가능한 평가를 얼마나 잘 지원하는가?

주요 결과

• SVM 모델이 풍자 감지에서 F-스코어 0.9597을 기록하여 모든 다른 모델보다 뛰어난 성능을 보였다.
• Arabert 모델은 풍자 감지에서 F-스코어 0.9527, 감성 분석에서 F-스코어 0.9226을 기록하여 아랍어 전용 사전 훈련된 모델의 뛰어난 성능을 입증하였다.
• 모든 테스트된 모델이 F-스코어 0.89 이상을 기록하여, 이 데이터셋이 고성능 분류 작업을 지원한다는 점을 확인하였다.
• XLM-RoBERTa 모델은 풍자 감지에서 F-스코어 0.9360을 기록하여 多국어 환경에서의 강력한 zero-shot 전이 능력을 보였다.
• BERT-multi 모델은 풍자 감지에서 F-스코어 0.9416을 기록하여, 저자원 환경에서 다국어 BERT의 효과성을 입증하였다.
• 모든 모델에서 높은 F-스코어가 기록된 점은 데이터셋의 품질과 주석 스키마가 아랍어 NLP 연구에 실질적인 유용성을 지닌다는 점을 확인한다.