[논문 리뷰] Fighting the COVID-19 Infodemic in Social Media: A Holistic Perspective and a Call to Arms

Firoj Alam, Fahim Dalvi외 9명|arXiv (Cornell University)|2020. 07. 15.

Misinformation and Its Impacts인용 수 15

한 줄 요약

이 논문은 다국어 커뮤니티 기반 플랫폼을 활용해 트윗을 사실성, 해로움 잠재력, 공공의 이익 등 일곱 가지 차원에서 다각도로 주석을 달아 사회 미디어에서의 코로나19 가짜정보 유포를 막는 통합적이고 다각적인 주석 프레임워크를 제안한다. 트랜스포머 기반 모델을 사용해 기준 모델 대비 뚜렷한 성능 향상을 보이며, 특히 다중 클래스 설정에서 뛰어난 성능을 보이며, 사실 확인 및 공중 보건 노력 지원을 위해 글로벌 커뮤니티의 트윗 주석 참여를 촉구한다.

ABSTRACT

With the outbreak of the COVID-19 pandemic, people turned to social media to read and to share timely information including statistics, warnings, advice, and inspirational stories. Unfortunately, alongside all this useful information, there was also a new blending of medical and political misinformation and disinformation, which gave rise to the first global infodemic. While fighting this infodemic is typically thought of in terms of factuality, the problem is much broader as malicious content includes not only fake news, rumors, and conspiracy theories, but also promotion of fake cures, panic, racism, xenophobia, and mistrust in the authorities, among others. This is a complex problem that needs a holistic approach combining the perspectives of journalists, fact-checkers, policymakers, government entities, social media platforms, and society as a whole. Taking them into account we define an annotation schema and detailed annotation instructions, which reflect these perspectives. We performed initial annotations using this schema, and our initial experiments demonstrated sizable improvements over the baselines. Now, we issue a call to arms to the research community and beyond to join the fight by supporting our crowdsourcing annotation efforts.

연구 동기 및 목표

• 코로나19 가짜정보 유포 문제의 복잡하고 다면적인 성격을 다루기 위해, 거짓 사실 외에도 공포, 인종 차별, 해로운 치료법 등 다양한 형태를 포함한다.
• 저널리스트, 사실 확인 전문가, 정책 입안자, 소셜 미디어 플랫폼, 사회 전반의 시각을 통합한 종합적인 주석 체계를 개발한다.
• MicroMappers 기반의 자원자 기반 다국어 커뮤니티 기반 플랫폼을 통해 주석 부담을 줄이고 품질을 향상시킨다.
• 훈련 및 평가를 위한 공개된 고품질 데이터셋을 영어 및 아랍어로 제작한다.
• 거짓 주장뿐 아니라 잠재적으로 해로운 또는 사회적으로 중요한 내용까지 탐지할 수 있는 강력한 NLP 모델 개발을 지원한다.

제안 방법

• 저자들은 검증 가능한 주장, 거짓 가능성, 공공의 이익, 해로움 잠재력, 사실 확인 필요성, 사회적 해로움, 정부의 관심 등을 다루는 일곱 질문으로 구성된 주석 체계를 정의한다.
• 영어 및 아랍어 트윗을 대상으로 MicroMappers 프레임워크를 활용해 다국어 커뮤니티 기반 플랫폼을 구현해 자원자로부터 주석을 수집한다.
• 각 예측에 대해 다수의 주석자들이 참여하여 신뢰성 확보 및 주석의 주관성 처리를 도모한다.
• BERT, RoBERTa, mBERT, ALBERT, XLM-R, AraBERT, FastText 등의 다양한 NLP 모델을 이진 분류 및 다중 클래스 분류 과제에 대해 훈련 및 평가한다.
• 모델 훈련을 위해 기본 설정을 사용해 세 에포크 동안 미세조정하고, 개발 세트 성능 기반으로 최고의 모델을 선별한다.
• 데이터셋 내 클래스 불균형을 고려하기 위해 가중 F1 점수를 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 다차원 주석 체계는 단순한 사실성 외에도 다양한 형태의 해로운 콘텐츠를 효과적으로 포괄할 수 있는가?
• RQ2 다국어 커뮤니티 기반 주석이 가짜정보 탐지 데이터셋의 품질과 확장성에 어떤 영향을 미치는가?
• RQ3 다양한 사전 훈련된 언어 모델은 코로나19 트윗에서 다양한 형태의 해로운 또는 중요한 콘텐츠를 어떻게 탐지하는가?
• RQ4 이 다중 레이블 체계에 기반한 모델은 이진 및 다중 클래스 설정 모두에서 기준 모델보다 뛰어난 성능을 보일 수 있는가?
• RQ5 문자 수준 임베딩(예: FastText)은 아랍어와 같이 자원이 적거나 형태적 특성이 뚜렷한 언어에서 트랜스포머 기반 모델보다 얼마나 뛰어난가?

주요 결과

• 모든 트랜스포머 기반 모델이 영어 및 아랍어 데이터셋에서 다수의 클래스 기준 모델을 능가하여, 전이 학습이 가짜정보 유포 탐지에 효과적임을 확인한다.
• 이진 분류에서 BERT와 RoBERTa가 영어 과제의 대부분에서 최고 성능을 보였고, mBERT는 아랍어 과제의 일곱 개 중 네 개에서 다른 모델들을 앞섰다.
• 다중 클래스 분류에서 mBERT는 영어 과제의 여섯 개 중 네 개에서 가장 높은 F1 점수를 기록해 복잡한 레이블 공간에서의 강력한 일반화 능력을 보였다.
• 아랍어에서는 FastText가 여러 과제에서 모든 트랜스포머 모델을 앞서며, 언어의 형태적 변형과 철자 실수에 대한 강건성 덕분으로 유의미한 성능 향상을 보였다.
• 다국어 mBERT 모델은 양 언어에서 뛰어난 성능을 보여, 다국어 가짜정보 탐지 잠재력을 보여주었다.
• 진실성 외에도 사회적 및 플랫폼 관련 차원을 통합함으로써 탐지 시스템의 실생활 적용에서의 유용성이 크게 향상됨을 입증했다.