[논문 리뷰] Fighting the COVID-19 Infodemic: Modeling the Perspective of Journalists, Fact-Checkers, Social Media Platforms, Policy Makers, and the Society

Firoj Alam, Shaden Shaar외 15명|arXiv (Cornell University)|2020. 04. 30.

Misinformation and Its Impacts인용 수 4

한 줄 요약

이 논문은 저자, 브라질어, 네덜란드어, 영어로 작성된 16,000건의 수동으로 주석 처리된 코로나19 트윗을 포함하는 多국어, 다중 이해관계자 데이터셋을 소개한다. 이는 기자, 사실 확인 전문가, 소셜 미디어 플랫폼, 정책 입안자, 사회 전반의 시각에서 정교한 위성 정보 분석을 지원하기 위해 설계되었다. 사전 학습된 트랜스포머를 사용한 다국어 및 다중 작업 학습을 통해 강력한 성능을 보였으며, 영어에서 다중 클래스 분류의 진술 진실성에 대해 최대 87.7%의 F1 점수를 기록했고, XLM-RoBERTa를 사용해 행동 유도 문구 탐지에서 81.8%의 F1 점수를 달성했다.

ABSTRACT

With the emergence of the COVID-19 pandemic, the political and the medical aspects of disinformation merged as the problem got elevated to a whole new level to become the first global infodemic. Fighting this infodemic has been declared one of the most important focus areas of the World Health Organization, with dangers ranging from promoting fake cures, rumors, and conspiracy theories to spreading xenophobia and panic. Addressing the issue requires solving a number of challenging problems such as identifying messages containing claims, determining their check-worthiness and factuality, and their potential to do harm as well as the nature of that harm, to mention just a few. To address this gap, we release a large dataset of 16K manually annotated tweets for fine-grained disinformation analysis that (i) focuses on COVID-19, (ii) combines the perspectives and the interests of journalists, fact-checkers, social media platforms, policy makers, and society, and (iii) covers Arabic, Bulgarian, Dutch, and English. Finally, we show strong evaluation results using pretrained Transformers, thus confirming the practical utility of the dataset in monolingual vs. multilingual, and single task vs. multitask settings.

연구 동기 및 목표

• 코로나19 패닉 기간 동안의 글로벌 '위성 정보 유포' 문제를 해결하기 위해, 다양한 이해관계자의 시각에서 위성 정보를 포괄하는 데이터셋을 구축하는 것.
• 기자, 사실 확인 전문가, 소셜 미디어 플랫폼, 정책 입안자, 일반 대중의 요구를 통합한 종합적인 주석 체계를 개발하는 것.
• 다국어 소셜 미디어 콘텐츠에서 확인 가치, 진실성, 피해 가능성, 행동 유도 의도를 모델링하여 정교한 위성 정보 분석을 가능하게 하는 것.
• 최신 트랜스포머 모델을 사용한 다국어 및 다중 작업 학습을 통해 강력한 성능 기준을 평가함으로써 데이터셋의 유용성을 평가하는 것.

제안 방법

• 기사의 진실성, 확인 가치, 피해 가능성, 정책 관련성 등을 다루는 일곱 질문으로 구성된 체계를 사용해 아랍어, 불가리아어, 네덜란드어, 영어 4개 언어로 16,000건의 트윗을 주석 처리함.
• 기자, 사실 확인 전문가, 공공보건부와의 이해관계자 협의를 통해 실제 세계의 관련성을 확보한 주석 가이드라인을 설계함.
• 다중 레이블, 다중 작업 학습 프레임워크를 활용해 동시에 진술의 진실성, 확인 가치, 피해 가능성, 행동 유도 의도를 예측함.
• 단일 언어 및 다국어 환경에서 BERT, mBERT, XLM-RoBERTa, FastText, BERTje 등의 다양한 모델을 훈련 및 평가함.
• 위성 정보 탐지 성능 향상을 위해 사회적 맥락과 선전적 언어적 신호를 통합함.
• 데이터셋과 코드를 공개하여 재현 가능성과 다국어 위성 정보 탐지 분야의 향후 연구를 지원함.

실험 결과

연구 질문

• RQ1 글로벌 보건 위기 동안 소셜 미디어에서 위성 정보 탐지에 다국어 및 다중 이해관계자 데이터셋이 어떻게 기여할 수 있는가?
• RQ2 정교한 위성 정보 분류 작업에서 다중 작업 학습 및 다국어 학습을 통해 달성할 수 있는 성능 향상은 어떠한가?
• RQ3 사회적 맥락과 선전적 언어와 같은 언어적 신호는 트윗에서 유해하거나 확인 가치가 있는 진술을 탐지하는 데 어떻게 영향을 미치는가?
• RQ4 코로나19 위성 정보 맥락에서 사전 학습된 트랜스포머 모델이 언어 및 작업 간에 얼마나 잘 일반화되는가?
• RQ5 통합된 주석 체계는 기자, 사실 확인 전문가, 정책 입안자, 일반 대중의 다양한 요구를 효과적으로 반영할 수 있는가?

주요 결과

• 다국어 위성 정보 탐지에서 높은 성능을 기록했으며, XLM-RoBERTa가 영어에서 다중 클래스 진술 진실성 분류 작업에서 87.7%의 F1 점수를 기록함.
• 다중 작업 학습이 성능 향상에 크게 기여했으며, XLM-RoBERTa가 영어에서 행동 유도 문구 탐지(Q7)에서 81.8%의 F1 점수를 기록해 기준 모델을 초월함.
• 다국어 전이 학습에서 뚜렷한 성과를 보였으며, mBERT가 네덜란드어에서 Q7(행동 유도) 작업에서 84.4%의 F1 점수를 기록해 강력한 제로샷 일반화 능력을 보임.
• 선전적 언어와 사회적 맥락을 모델링함으로써 모든 언어에서 피해 가능성과 확인 가치가 있는 진술을 탐지하는 데 있어 측정 가능한 성능 향상이 이루어짐.
• 데이터셋은 높은 일치도와 실용성을 보였으며, BERT 기반 모델이 영어 및 네덜란드어에서 대부분의 작업에서 80% 이상의 F1 점수를 기록함.
• GitHub에 데이터셋과 코드를 공개함으로써 재현 가능성이 보장되고, 다국어 위성 정보 탐지 및 정책 관련 자연어 처리 분야의 향후 연구를 지원함.