[論文レビュー] Catching Zika Fever: Application of Crowdsourcing and Machine Learning for Tracking Health Misinformation on Twitter

Amira Ghenai, Yelena Mejova|arXiv (Cornell University)|Jul 12, 2017

Misinformation and Its Impacts被引用数 5

ひとこと要約

本稿では、2016年のジカウイルス流行期におけるTwitter上での健康関連の誤情報の検出および追跡を目的として、専門家によるキュレーション、クラウドソーシング、機械学習を組み合わせたハイブリッドパイプラインを提案する。1300万件を超えるツイートを分析することで、一時的な誤情報のパターンを同定し、自動分類器が誤情報を含むツイートと訂正情報を効果的に区別できることを示している。これにより、誤情報への迅速な公衆衛生的対応が可能になる。

ABSTRACT

In February 2016, World Health Organization declared the Zika outbreak a Public Health Emergency of International Concern. With developing evidence it can cause birth defects, and the Summer Olympics coming up in the worst affected country, Brazil, the virus caught fire on social media. In this work, use Zika as a case study in building a tool for tracking the misinformation around health concerns on Twitter. We collect more than 13 million tweets -- spanning the initial reports in February 2016 and the Summer Olympics -- regarding the Zika outbreak and track rumors outlined by the World Health Organization and Snopes fact checking website. The tool pipeline, which incorporates health professionals, crowdsourcing, and machine learning, allows us to capture health-related rumors around the world, as well as clarification campaigns by reputable health organizations. In the case of Zika, we discover an extremely bursty behavior of rumor-related topics, and show that, once the questionable topic is detected, it is possible to identify rumor-bearing tweets using automated techniques. Thus, we illustrate insights the proposed tools provide into potentially harmful information on social media, allowing public health researchers and practitioners to respond with a targeted and timely action.

研究の動機と目的

• 公衆衛生的緊急事態の際のソーシャルメディア上での健康関連の誤情報の検出に向け、スケーラブルで多段階のパイプラインを開発すること。
• 2016年のジカウイルス流行期に、Twitter上で急速に広がる誤情報が公衆衛生のコミュニケーション活動に悪影響を及えたという課題に対処すること。
• 専門家知識、クラウドソーシングによるラベル付け、機械学習を統合することで、リアルタイムのソーシャルメディアストリームにおける誤情報検出の精度と信頼性を向上させること。
• 権威ある情報源から得た真実のラベルを用いて、自動分類器が誤情報ツイートと訂正ツイートをどれだけ正確に区別できるかを評価すること。
• 健康危機発生時における誤情報の発生源、拡散経路、時間的ダイナミクスを特定することで、公衆衛生の実務家に実行可能なインサイトを提供すること。

提案手法

• 2016年2月からリオ・サマーオリンピック期間中にかけて、TwitterのストリーミングAPIを用いて1300万件を超えるジカウイルス関連のツイートを収集する。
• LDAベースのトピックモデリングを適用し、ツイートストリームから新たな誤情報関連トピックを発見する。
• 専門家主導の情報検索を用いて、WHOやSnopesが特定した誤情報に関連するツイートを特定・抽出する。
• コンテンツと文脈に基づき、ツイートを「誤情報」と「訂正情報」のいずれかにラベル付けするクラウドソーシングを実施し、高精度な真実ラベルを確保する。
• クラウドソーシングによるラベルを用いて機械学習分類器（例：教師ありモデル）を訓練し、誤情報検出を自動化する。
• 誤情報トピックの時間的分析を実施し、その拡散パターン、発生源、権威ある情報源との相互作用を検討する。

実験結果

リサーチクエスチョン

• RQ1 専門家知識、クラウドソーシング、機械学習を統合したハイブリッドシステムは、公衆衛生的緊急事態下におけるTwitter上での健康関連誤情報の検出に、どのように効果的に機能するか？
• RQ2 ソーシャルメディア上でのジカウイルス関連誤情報トピックの時間的ダイナミクスと、一時的な急増パターン（バーストネス）はどのような特徴を示すか？
• RQ3 権威ある公衆衛生機関と主流メディアは、誤情報の訂正と誤情報の拡散において、それぞれどのような役割を果たしているか？
• RQ4 クラウドソーシングによるラベルを学習データとして用いた自動分類器は、実世界のソーシャルメディアデータにおいて、誤情報を含むツイートをどれほど正確に同定できるか？
• RQ5 オンラインディスコースにおいて、誤情報と事実に基づく公衆衛生情報とを区別するための、誤情報の主な特徴は何か？

主な発見

• 本研究では、ジカウイルス関連の誤情報の拡散に著しいバーストネス（急増）パターンが確認され、主な報道や公衆衛生の発表に続くと、議論が急激に高まる傾向が示された。
• 誤情報はしばしば既知のアドボカシー団体や、ユーモラスで拡散されやすいコンテンツを通じて広められ、誤情報の拡散の背後にある動機が多様であることが示された。
• 主流メディアは誤情報の訂正において顕著な役割を果たしていなかったが、WHOのような公式公衆衛生機関が、訂正発表の中心的役割を果たしていた。
• クラウドソーシングによるラベルを学習データとして用いた機械学習分類器は、誤情報ツイートと訂正ツイートの区別において高い正確性を示し、自動検出の実現可能性が裏付けられた。
• 専門家によるキュレーションとクラウドソーシングの統合により、トレーニングデータの質と信頼性が著しく向上し、モデルの強固な性能が実現された。
• このパイプラインは、誤情報の発生と進化の両方を的確に捉えることに成功し、ソーシャルメディア上での公衆衛生的緊急事態のリアルタイム監視に向けたスケーラブルなモデルを提供した。