[論文レビュー] Drink bleach or do what now? Covid-HeRA: A dataset for risk-informed health decision making in the presence of COVID19 misinformation.

Arkin Dharawat, Ismini Lourentzou+2 more|arXiv (Cornell University)|Oct 17, 2020

Misinformation and Its Impacts参考文献 51被引用数 31

ひとこと要約

Covid-HeRA は、COVID-19 関連のソーシャルメディア上の誤情報の健康リスクを評価するための新しいデータセットであり、誤情報の深刻度を分類し、高悪意のフェイクニュースを検出するためのシグナルを特定することを目的としている。本研究では複数の NLP モデルを評価し、リスクを踏まえた誤情報検出における主な課題を明らかにし、パンデミック期における健康リスク評価の分野における今後の研究の基盤を提供する。

ABSTRACT

Given the wide spread of inaccurate medical advice related to the 2019 coronavirus pandemic (COVID-19), such as fake remedies, treatments and prevention suggestions, misinformation detection has emerged as an open problem of high importance and interest for the NLP community. To combat potential harm of COVID19-related misinformation, we release Covid-HeRA, a dataset for health risk assessment of COVID-19-related social media posts. More specifically, we study the severity of each misinformation story, i.e., how harmful a message believed by the audience can be and what type of signals can be used to discover high malicious fake news and detect refuted claims. We present a detailed analysis, evaluate several simple and advanced classification models, and conclude with our experimental analysis that presents open challenges and future directions.

研究の動機と目的

• ソーシャルメディア上での危険な COVID-19 誤情報、特に「洗剤を飲め」といった危険な主張の増加という脅威に対処するため。
• 誤情報の深刻度と悪意の度合いを体系的かつ分析可能な形で評価できるデータセットを開発するため。
• 健康関連のコンテンツにおける高リスクと低リスクの誤情報の違いを特定するための言語的および文脈的シグナルを同定するため。
• 誤情報の深刻度を分類し、事実と異なる主張を検出するため、単純なモデルと高度な NLP モデルを評価するため。
• パンデミック期におけるリスクに配慮した誤情報検出分野における今後の研究を導くために、未解決の課題を明らかにするため。

提案手法

• 著者らは、潜在的な健康リスクを伴う主張に焦点を当て、COVID-19 関連のソーシャルメディア投稿の人的ラベル付きデータセットを構築した。
• 各投稿は、深刻度（例：毒性物質の推奨など危険な主張）や医学的に否定されているかどうかについてラベル付けされた。
• データセットには、リスク深刻度、主張の真偽、影響を受ける可能性のある対象層の影響の程度といった複数レベルのラベルが含まれている。
• 著者らは、テクスト的および文脈的特徴に基づいて誤情報の分類を目的とした、従来の機械学習モデルとディープラーニングアーキテクチャを適用した。
• 高悪意の誤情報に特徴的な言語的キュー、主張の構造、真偽に関するシグナルを分析し、パターンを同定した。
• 評価フレームワークには、異なるリスク深刻度レベルにおけるモデル性能を比較するための標準的な NLP メトリクスが含まれている。

実験結果

リサーチクエスチョン

• RQ1 ソーシャルメディアを巡回する COVID-19 誤情報の中で、最も危険なタイプは何か？
• RQ2 どの言語的および文脈的シグナルが、特定の誤情報主張における深刻度の程度を最もよく予測するか？
• RQ3 既存の NLP モデルは、高リスクの誤情報と低リスクまたは否定済みの主張をどれほど効果的に検出できるか？
• RQ4 危険な誤情報とそれほど害のない主張や否定済みの主張を区別するモデルを訓練するにあたり、主な課題は何か？
• RQ5 リスクを踏まえた分類は、パンデミック期における公衆衛生意思決定をどのように改善できるか？

主な発見

• Covid-HeRA データセットは、『洗剤を飲め』のような危険な主張を含む、誤情報の深刻度のスケールを的確に捉えている。
• ロジスティック回帰のような単純なモデルが、このデータセットで競争力のある性能を示しており、基本的な言語的特徴が高リスクコンテンツを示すシグナルとして有効であることが示された。
• トランスフォーマーをベースとする高度なモデルは、真偽に関するシグナルで微調整された場合、否定済みの主張を検出する際に性能が向上した。
• 特に、誤解を招く表現や説得力のある医学用語を用いた主張では、高悪意の誤情報検出における一般化ギャップが依然として顕著に残っている。
• 本研究では、文脈と主張の構造が重要なシグナルであることが同定されたが、現在のモデルはそれらをリスク評価に効果的に活用できていない。
• 著者らは、リスクを踏まえた検出は依然として未解決の課題であり、より洗練されたデータセットとモデルの解釈可能性の向上が求められると結論づけた。