[논문 리뷰] Catching Zika Fever: Application of Crowdsourcing and Machine Learning for Tracking Health Misinformation on Twitter

Amira Ghenai, Yelena Mejova|arXiv (Cornell University)|2017. 07. 12.

Misinformation and Its Impacts인용 수 5

한 줄 요약

이 논문은 2016년 지카 바이러스 유행 기간 동안 트위터에서 건강 관련 가짜정보를 탐지하고 추적하기 위해 전문가 코칭, 커뮤니티 기반 노동, 기계 학습을 융합한 하이브리드 파이프라인을 제안한다. 1,300만 건이 넘는 트윗을 분석함으로써 이 프레임워크는 급격히 발생하는 루머 패atters를 식별하고, 자동화된 분류기들이 루머를 담고 있는 트윗과 해명 트윗을 효과적으로 구분할 수 있음을 입증하여, 가짜정보에 대한 신속한 공중보건 대응이 가능하다.

ABSTRACT

In February 2016, World Health Organization declared the Zika outbreak a Public Health Emergency of International Concern. With developing evidence it can cause birth defects, and the Summer Olympics coming up in the worst affected country, Brazil, the virus caught fire on social media. In this work, use Zika as a case study in building a tool for tracking the misinformation around health concerns on Twitter. We collect more than 13 million tweets -- spanning the initial reports in February 2016 and the Summer Olympics -- regarding the Zika outbreak and track rumors outlined by the World Health Organization and Snopes fact checking website. The tool pipeline, which incorporates health professionals, crowdsourcing, and machine learning, allows us to capture health-related rumors around the world, as well as clarification campaigns by reputable health organizations. In the case of Zika, we discover an extremely bursty behavior of rumor-related topics, and show that, once the questionable topic is detected, it is possible to identify rumor-bearing tweets using automated techniques. Thus, we illustrate insights the proposed tools provide into potentially harmful information on social media, allowing public health researchers and practitioners to respond with a targeted and timely action.

연구 동기 및 목표

• 공중보건 위기 기간 동안 소셜 미디어에서 건강 관련 루머를 탐지하기 위한 확장 가능하고 다단계 파이프라인을 개발하기 위해.
• 2016년 지카 바이러스 유행 기간 동안 트위터에서 빠르게 퍼지는 가짜정보 문제를 다루어 공중보건 커뮤니케이션 노력에 위협이 되는 것을 방지하기 위해.
• 실시간 소셜 미디어 스트림에서 정확도와 신뢰성을 높이기 위해 전문가 지식, 커뮤니티 기반 레이블링, 기계 학습을 통합하여 루머 탐지 성능을 향상시키기 위해.
• 권위 있는 소스에서 제공하는 기준 레이블을 사용하여 자동화된 분류기가 루머 트윗과 해명 트윗을 구분하는 데 효과적인지 평가하기 위해.
• 공중보건 전문가들이 건강 위기 상황에서 가짜정보의 기원, 확산 경로, 시간적 동역학을 식별함으로써 실질적인 통찰을 제공하기 위해.

제안 방법

• 트위터의 스트리밍 API를 사용하여 2016년 2월부터 리우 夏季 올림픽 기간까지 지카 바이러스 관련 트윗을 1,300만 건 이상 수집한다.
• LDA 기반 토픽 모델링을 적용하여 트윗 스트림에서 새로운 루머 관련 토픽을 탐지한다.
• 전문가 주도 정보 검색을 통해 WHO나 스노프스가 특정한 루머로 식별한 트윗을 식별하고 추출한다.
• 내용과 맥락을 기반으로 커뮤니티 기반 노동을 통해 트윗을 '루머' 또는 '해명'으로 레이블링하여 고정밀도 기준 레이블을 확보한다.
• 커뮤니티 기반 레이블을 기반으로 기계 학습 분류기(예: 지도 학습 모델)를 훈련시어 자동화된 루머 탐지 기능을 구현한다.
• 루머 토픽의 시간적 분석을 수행하여 그들의 확산 패턴, 기원, 권위 있는 소스와의 상호작용을 연구한다.

실험 결과

연구 질문

• RQ1 전문가 지식, 커뮤니티 기반 노동, 기계 학습을 융합한 하이브리드 시스템이 공중보건 위기 기간 동안 트위터에서 건강 관련 루머를 효과적으로 탐지할 수 있는가?
• RQ2 소셜 미디어에서 지카 바이러스 관련 루머 토픽의 시간적 동역학과 급격한 발생 패턴은 어떠한가?
• RQ3 권위 있는 공중보건 기관과 주류 미디어는 루머를 해명하는 데서와 가짜정보를 퍼뜨리는 데서 어떤 역할을 하는가?
• RQ4 커뮤니티 기반 레이블을 기반으로 훈련된 자동화된 분류기가 실제 소셜 미디어 데이터에서 루머를 담고 있는 트윗을 얼마나 정확하게 식별할 수 있는가?
• RQ5 온라인 논의에서 사실 기반 공중보건 정보와 구별되는 루머의 주요 특성은 무엇인가?

주요 결과

• 연구는 지카 바이러스 관련 루머의 확산이 매우 급격한 패턴을 보임을 밝혀냈으며, 주요 뉴스 이벤트나 공중보건 발표 이후 급격한 논의 증가가 관찰되었다.
• 루머들은 종종 알려진 옹호 단체나 유머러스한 바이럴 콘텐츠를 통해 퍼졌으며, 이는 가짜정보 확산 배경에 다양한 동기가 존재함을 시사한다.
• 주류 미디어는 루머를 해명하는 데서 두드러진 역할을 하지 않았으며, 대신 WHO와 같은 공식 공중보건 기관이 해명을 주도하는 중심 역할을 했다.
• 커뮤니티 기반 레이블을 기반으로 훈련된 기계 학습 분류기가 루머 트윗과 해명 트윗을 높은 정밀도로 구분하는 데 성공하여 자동화된 탐지의 가능성을 입증했다.
• 전문가 코칭과 커뮤니티 기반 노동의 통합은 훈련 데이터의 품질과 신뢰성을 크게 향상시켜 강력한 모델 성능을 가능하게 했다.
• 이 파이프라인이 가짜정보의 발생과 진화를 성공적으로 포착하여, 소셜 미디어에서의 공중보건 위기 실시간 모니터링을 위한 확장 가능한 모델을 제공했다.