[論文レビュー] PoxVerifi: An Information Verification System to Combat Monkeypox Misinformation

Akaash Kolluri, Kami Vinton+1 more|arXiv (Cornell University)|Sep 9, 2022

Misinformation and Its Impacts被引用数 5

ひとこと要約

PoxVerifi は、機械学習分類（96％の交差検証精度）、コミュニティ主導の投票、および事前に検証済みの類似した主張との比較を通じて、主張の即時検証を可能にするオープンソースの Google Chrome 拡張機能です。これにより、ユーザーはページを離れることなく、包括的でブラウザ内での信頼性評価ツールを活用できます。

ABSTRACT

Following recent outbreaks, monkeypox-related misinformation continues to rapidly spread online. This negatively impacts response strategies and disproportionately harms LGBTQ+ communities in the short-term, and ultimately undermines the overall effectiveness of public health responses. In an attempt to combat monkeypox-related misinformation, we present PoxVerifi, an open-source, extensible tool that provides a comprehensive approach to assessing the accuracy of monkeypox related claims. Leveraging information from existing fact checking sources and published World Health Organization (WHO) information, we created an open-sourced corpus of 225 rated monkeypox claims. Additionally, we trained an open-sourced BERT-based machine learning model for specifically classifying monkeypox information, which achieved 96% cross-validation accuracy. PoxVerifi is a Google Chrome browser extension designed to empower users to navigate through monkeypox-related misinformation. Specifically, PoxVerifi provides users with a comprehensive toolkit to assess the veracity of headlines on any webpage across the Internet without having to visit an external site. Users can view an automated accuracy review from our trained machine learning model, a user-generated accuracy review based on community-member votes, and have the ability to see similar, vetted, claims. Besides PoxVerifi's comprehensive approach to claim-testing, our platform provides an efficient and accessible method to crowdsource accuracy ratings on monkeypox related-claims, which can be aggregated to create new labeled misinformation datasets.

研究の動機と目的

• マウントピョクス関連の誤情報が急速に広がることで公衆衛生対応が損なわれるという緊急の課題に対処するためのツールの必要性に応える。
• ゲイやバイセクシュアル男性にのみ影響するとされる誤った主張が、LGBTQ+コミュニティへの差別の助長を防ぐ。
• ユーザーが元のページから離脱することなく、ニュースの信頼性を評価できる、アクセスしやすいブラウザ内での検証システムを開発する。
• 将来的な研究やツール開発を支援するため、健康関連の誤情報に対するクラウドソーシングによるラベル付けの再利用可能なオープンソースフレームワークを構築する。
• 自動分類、コミュニティの参加、根拠に基づく比較を統合したスケーラブルな解決策を提供し、ヒューリスティック判断への依存を低減する。

提案手法

• WHO や事実確認機関の出典を用いて正確性が評価された 225 件のマウントピョクス関連主張から構成されるコーパスを基に、微調整された BERT ベースの機械学習モデルを構築した。
• 任意のウェブページの見出しをリアルタイムに分析する Google Chrome 拡張機能を開発し、ML モデルによる自動的正確性スコアを提供した。
• ユーザーが主張の正確性を評価できるコミュニティ主導の投票システムを統合し、集計結果を表示することで透明性と信頼性を向上させた。
• 正確性が既に判明している類似した主張を表示する機能を実装し、根拠に基づく比較と認知的処理を支援した。
• システムを完全にブラウザ内でのみ動作させる設計とし、ユーザーの負担を最小限に抑え、読破体験を途切れなく保った。
• クラウドソーシングによるラベルを用いた今後の拡張、データ収集、モデル再トレーニングを可能にするため、GitHub にオープンソースのパイプラインを確立した。

実験結果

リサーチクエスチョン

• RQ1 自動分類とコミュニティ投票を統合したブラウザベースのツールは、マウントピョクス関連の誤情報の検出能力をユーザーが向上させることに効果的か？
• RQ2 ユーザーに事前に検証済みの類似主張を提示することで、新しい主張の信頼性を評価する能力がどの程度向上するか？
• RQ3 正確性の高い限られたデータセット（225 件のラベル付き主張）でトレーニングされた BERT ベースのモデルは、マウントピョクス関連主張の分類においてどの程度効果的か？
• RQ4 ユーザーからのクラウドソーシングによる評価を信頼性のある方法で集約することで、新しい誤情報主張のラベルを正確に生成し、将来的なモデル改善を可能にするか？
• RQ5 オープンソースで拡張可能なフレームワークは、将来的な公衆衛生緊急事態における健康誤情報対策ツールの開発障壁をどの程度低減できるか？

主な発見

• BERT ベースの機械学習モデルは、限られたトレーニングデータセットにもかかわらず、マウントピョクス関連主張の真偽を分類する際、96％の交差検証精度を達成し、優れた性能を示した。
• PoxVerifi Chrome 拡張機能は、ユーザーが外部の事実確認サイトに移動する必要なく、リアルタイムでの主張検証を可能にし、使いやすさとユーザー参加意欲を向上させた。
• 自動予測、コミュニティ投票、検証済み主張との比較を統合した本システムは、ヒューリスティック判断への依存を低減し、情報のより深い認知的処理を促進する。
• ツールのオープンソース性とクラウドソーシングによるデータ収集メカニズムにより、将来的な研究のための新しいラベル付き誤情報データセットを継続的に生成するためのパイプラインが構築された。
• 公衆衛生緊急事態の最中に、即時的でアクセス可能かつ根拠に基づいた検証ツールを提供することで、誤情報リスクの軽減が実現可能であると示された。
• 本フレームワークは拡張可能であり、インフルエンザ、子供の病気、または将来的なパンデミックなど、他の健康誤情報の文脈にも応用可能で、広範な公衆衛生的影響をもたらす可能性を有する。