[論文レビュー] CoVERT: A Corpus of Fact-checked Biomedical COVID-19 Tweets

Isabelle Mohr, Amelie Wührl+1 more|arXiv (Cornell University)|Apr 26, 2022

Misinformation and Its Impacts被引用数 11

ひとこと要約

CoVERTは、実世界の証拠に基づいた、300件の生物医学的COVID-19ツイートを含む事実検証済みコーパスであり、医療用エンティティ、関係、およびクラウドワーカーによる評価（支持・反論・情報不足）をアノテートしている。本研究では、クラウドワーカーが抽出した実世界の証拠が、言語モデルが生成する証拠よりも事実検証パイプラインの性能を向上させることを示した。これは、情報不足クラスにおける課題にもかかわらず、予測性能の向上に寄与した。

ABSTRACT

Over the course of the COVID-19 pandemic, large volumes of biomedical information concerning this new disease have been published on social media. Some of this information can pose a real danger to people's health, particularly when false information is shared, for instance recommendations on how to treat diseases without professional medical advice. Therefore, automatic fact-checking resources and systems developed specifically for the medical domain are crucial. While existing fact-checking resources cover COVID-19-related information in news or quantify the amount of misinformation in tweets, there is no dataset providing fact-checked COVID-19-related Twitter posts with detailed annotations for biomedical entities, relations and relevant evidence. We contribute CoVERT, a fact-checked corpus of tweets with a focus on the domain of biomedicine and COVID-19-related (mis)information. The corpus consists of 300 tweets, each annotated with medical named entities and relations. We employ a novel crowdsourcing methodology to annotate all tweets with fact-checking labels and supporting evidence, which crowdworkers search for online. This methodology results in moderate inter-annotator agreement. Furthermore, we use the retrieved evidence extracts as part of a fact-checking pipeline, finding that the real-world evidence is more useful than the knowledge indirectly available in pretrained language models.

研究の動機と目的

• 詳細なアノテーションを備えた、事実検証済みで生物医学的焦点をもつCOVID-19ツイートデータセットの不足に対処すること。
• ソーシャルメディアにおける生物医学的事実検証のための新しいクラウドソーシング手法の開発。
• Web検索から得た実世界の証拠が、言語モデルが生成する証拠よりも、事実検証パイプラインの性能を向上させるかどうかを評価すること。
• 将来のNLPタスクのための生物医学的主張、エンティティ、関係の構造的クエリを可能にすること。

提案手法

• クラウドワーカーが、医療用名前付きエンティティ（例：疾患、治療法）およびそれらの関係（例：原因となる、原因ではない）を300件のCOVID-19関連ツイートにアノテートした。
• 各ツイートに対して、アノテーターがオンラインソースから取得した証拠に基づいて、事実検証評価（支持・反論・情報不足）が割り当てられた。
• 証拠収集と評価割り当ての整合性と信頼性を確保するため、新しいクラウドソーシングワークフローが設計された。
• コーパスを用いて、実証拠抽出を用いたファクトチェックパイプラインを微調整し、BERTが生成する証拠を用いたベースラインと比較した。
• パイプラインは、主張-証拠ペアに基づいて評価を予測するためのマルチレイヤーパーセプトロン（MLP）分類器を用いた。
• 事前学習済み言語モデル表現に基づく帰納的分類の改善に、証拠抽出の有効性を探索的に評価した。

実験結果

リサーチクエスチョン

• RQ1 クラウドソーシング手法は、ソーシャルメディアにおける生物医学的主張の事実検証ラベルと証拠を信頼性高く生成できるか？
• RQ2 実世界の証拠と言語モデルが生成する証拠を用いた場合、事実検証パイプラインの性能にどのような差が生じるか？
• RQ3 BERTに内蔵された暗黙の知識と比較して、実証拠抽出が評価予測の正確性をどの程度向上させるか？
• RQ4 証拠の分布とクラスの不均衡が、特に「情報不足」クラスにおいて、モデルの一般化能力にどのような影響を与えるか？
• RQ5 CoVERTにアノテートされたエンティティと関係は、知識ベース統合のための生物医学的オントロジーへの主張のリンクに効果的に利用できるか？

主な発見

• クラウドソーシングによる事実検証手法は中程度のアノテーター間一致度を達成し、ソーシャルメディアにおける生物医学的主張のアノテーションの信頼性を示した。
• クラウドワーカーが抽出した実世界の証拠が、事実検証パイプラインの性能を向上させた。MLP-Evidenceモデルは、ツイート＋証拠ペアにおいてF1スコア0.69を達成した。
• BERTが生成する証拠を用いたパイプライン（MLP-FEVER）は、誤ったまたは情報のない証拠の生成のため、F1スコア0.46にとどまり、性能が劣った。
• 「情報不足」クラスは依然として課題であり、微調整中にこのラベル用の証拠が存在しないため、モデルの学習が制限された。
• CoVERTの証拠を用いた微調整により、「支持」予測の正解数は33から55に増加したが、15件の誤検出が発生した。
• 文レベルでの証拠抽出は、より豊富な帰納的特徴を提供する可能性があり、将来的なパイプライン性能の向上に寄与する可能性がある。