[논문 리뷰] Drink bleach or do what now? Covid-HeRA: A dataset for risk-informed health decision making in the presence of COVID19 misinformation.

Arkin Dharawat, Ismini Lourentzou외 2명|arXiv (Cornell University)|2020. 10. 17.

Misinformation and Its Impacts참고 문헌 51인용 수 31

한 줄 요약

Covid-HeRA는 COVID-19 관련 소셜미디어 가짜정보의 건강위험을 평가하기 위해 가짜 주장의 심각도를 분류하고 높은 악성도를 가진 가짜 뉴스를 탐지하는 신호를 식별하기 위해 설계된 새로운 데이터셋이다. 이 연구는 다양한 NLP 모델을 평가하며 위험 기반 가짜정보 탐지에서 발생하는 주요 과제를 밝혀내며, 패닉 기간 동안 건강위험 평가 분야의 향후 연구에 기초를 제공한다.

ABSTRACT

Given the wide spread of inaccurate medical advice related to the 2019 coronavirus pandemic (COVID-19), such as fake remedies, treatments and prevention suggestions, misinformation detection has emerged as an open problem of high importance and interest for the NLP community. To combat potential harm of COVID19-related misinformation, we release Covid-HeRA, a dataset for health risk assessment of COVID-19-related social media posts. More specifically, we study the severity of each misinformation story, i.e., how harmful a message believed by the audience can be and what type of signals can be used to discover high malicious fake news and detect refuted claims. We present a detailed analysis, evaluate several simple and advanced classification models, and conclude with our experimental analysis that presents open challenges and future directions.

연구 동기 및 목표

• 소셜미디어에서의 유해한 COVID-19 가짜정보 증가에 대비하여, '식초를 마시라'와 같은 특히 위험한 주장들을 다루기 위해.
• 가짜정보의 심각도와 악성 의도를 체계적으로 분석할 수 있도록 하는 데이터셋을 개발하기 위해.
• 건강 관련 콘텐츠에서 높은 위험도와 낮은 위험도의 가짜 주장을 구분하는 언어적 및 맥락적 신호를 식별하기 위해.
• 가짜정보 심각도 분류 및 반박된 주장을 탐지하기 위해 간단한 모델과 고급 NLP 모델을 평가하기 위해.
• 공중보건 위기 기간 동안 위험 인지 기반 가짜정보 탐지 분야의 향후 연구를 이끄는 데 필요한 열린 과제를 밝혀내기 위해.

제안 방법

• 저자들은 건강 위험이 있을 수 있는 주장에 초점을 맞춘 COVID-19 관련 소셜미디어 게시물의 인간 주석 기반 데이터셋을 구축하였다.
• 각 게시물은 피해 심각도에 따라 레이블이 매겨지며, 독성 물질을 권장하는 등 위험한 주장인지 여부 또는 의학적으로 반박된 주장인지 여부를 포함한다.
• 위험 심각도, 주장 진실성, 잠재적 청중 영향을 다중 수준으로 주석 처리한 데이터셋을 포함한다.
• 저자들은 텍스트적 및 맥락적 특징을 기반으로 가짜정보를 분류하기 위해 기존 기계학습 모델과 딥러닝 아키텍처를 적용하였다.
• 언어적 신호, 주장 구조, 진실성 신호를 분석하여 악성도가 높은 가짜정보의 패턴을 식별하였다.
• 모델 성능을 다양한 위험 심각도 수준 간 비교하기 위해 표준 NLP 메트릭을 포함한 평가 프레임워크를 구축하였다.

실험 결과

연구 질문

• RQ1 소셜미디어를 통해 유통되는 가장 해로운 유형의 COVID-19 가짜정보는 무엇인가?
• RQ2 어떤 언어적 및 맥락적 신호가 특정 가짜정보 주장의 피해 심각도를 가장 잘 예측하는가?
• RQ3 기존 NLP 모델은 높은 위험도의 가짜정보를 낮은 위험도 또는 반박된 주장과 비교해 얼마나 잘 탐지할 수 있는가?
• RQ4 유해한 거짓 정보와 덜 해로운 또는 반박된 주장 간을 구분하기 위해 모델을 훈련시키는 데 있어 핵심 과제는 무엇인가?
• RQ5 위험 기반 분류는 패닉 기간 동안 공중보건 의사결정을 어떻게 향상시킬 수 있는가?

주요 결과

• Covid-HeRA 데이터셋은 '식초를 마시라'와 같은 매우 해로운 주장까지 포함해 가짜정보 심각도의 스펙트럼을 성공적으로 포괄하고 있다.
• 로지스틱 회귀와 같은 단순 모델이 데이터셋에서 경쟁적인 성능을 보이며, 기본적인 언어적 특징만으로도 높은 위험도의 콘텐츠를 식별할 수 있음을 시사한다.
• 변환기 기반 아키텍처를 포함한 고급 모델은 특히 진실성 신호에 맞춰 미세조정된 경우 반박된 주장을 탐지하는 데서 성능 향상을 보였다.
• 특히 속임수적으로 표현되거나 신뢰할 수 있는 의학어휘를 사용하는 경우, 높은 악성도 가짜정보 탐지에 있어 여전히 큰 일반화 갭이 존재한다.
• 연구에서는 맥락과 주장 구조가 핵심 신호임을 밝혀냈지만, 현재 모델들은 이를 위험 평가에 효과적으로 활용하는 데 어려움을 겪고 있다.
• 저자들은 위험 기반 탐지가 여전히 열린 과제임을 결론 내리며, 더 정교한 데이터셋과 더 나은 모델 해석 가능성의 필요성을 제기한다.