[論文レビュー] Combat COVID-19 Infodemic Using Explainable Natural Language Processing Models

Jackie Ayoub, X. Jessie Yang+1 more|arXiv (Cornell University)|Feb 28, 2021

Misinformation and Its Impacts参考文献 29被引用数 8

ひとこと要約

本論文は、DistilBERTとSHAPを用いた説明可能なNLPモデルを提案し、COVID-19の誤情報検出において高い精度と公的信頼を実現した。独自に整備したデータセットでは97.2%の精度を達成し、共有タスク用データセットでは93.8%の精度を示した。また、SHAPによる説明は実験的条件下でユーザーの信頼性向上と情報共有意欲の向上を顕著に高めた。

ABSTRACT

Misinformation of COVID-19 is prevalent on social media as the pandemic unfolds, and the associated risks are extremely high. Thus, it is critical to detect and combat such misinformation. Recently, deep learning models using natural language processing techniques, such as BERT (Bidirectional Encoder Representations from Transformers), have achieved great successes in detecting misinformation. In this paper, we proposed an explainable natural language processing model based on DistilBERT and SHAP (Shapley Additive exPlanations) to combat misinformation about COVID-19 due to their efficiency and effectiveness. First, we collected a dataset of 984 claims about COVID-19 with fact checking. By augmenting the data using back-translation, we doubled the sample size of the dataset and the DistilBERT model was able to obtain good performance (accuracy: 0.972; areas under the curve: 0.993) in detecting misinformation about COVID-19. Our model was also tested on a larger dataset for AAAI2021 - COVID-19 Fake News Detection Shared Task and obtained good performance (accuracy: 0.938; areas under the curve: 0.985). The performance on both datasets was better than traditional machine learning models. Second, in order to boost public trust in model prediction, we employed SHAP to improve model explainability, which was further evaluated using a between-subjects experiment with three conditions, i.e., text (T), text+SHAP explanation (TSE), and text+SHAP explanation+source and evidence (TSESE). The participants were significantly more likely to trust and share information related to COVID-19 in the TSE and TSESE conditions than in the T condition. Our results provided good implications in detecting misinformation about COVID-19 and improving public trust.

研究の動機と目的

• SNS上でのCOVID-19誤情報拡散の増加に歯止めをかけるために、正確かつ信頼性の高い検出モデルを開発すること。
• SHAPを用いた説明性の統合により、自動誤情報検出に対する公的信頼を向上させること。
• 説明の種類（テキストのみ、テキスト＋SHAP、テキスト＋SHAP＋出典）がユーザーの信頼性および共有行動に与える影響を評価すること。
• 限定的なデータセット（984件の事実確認済み主張）に対してバックトランスレーションを用いたデータ拡張を実施し、モデル性能を向上させること。

提案手法

• COVID-19に関する984件の事実確認済み主張から成るデータセットを用いて、DistilBERTを微調整し、誤情報の分類に高い精度を実現した。
• モデルの汎化性能を向上させるために、バックトランスレーションを用いたデータ拡張を実施し、データセットサイズを2倍にした。
• 予測意思決定を個々の入力トークンに帰属づけることで、局所的解釈可能性を提供するSHAP（Shapley Additive Explanations）を採用した。
• 被験者間設計の実験を実施し、3つの条件（T：テキストのみ、TSE：テキスト＋SHAP、TSESE：テキスト＋SHAP＋出典および証拠）を設定し、信頼性および共有行動を評価した。
• 統計的分析を用いて、実験条件間でのユーザーの信頼性および共有意欲の差を比較した。
• AAAIC2021 COVID-19フェイクニュース検出共有タスクデータセットを用いてモデル性能を検証し、耐久性を確認した。

実験結果

リサーチクエスチョン

• RQ1 SHAP説明をDistilBERTベースの誤情報検出モデルに統合することで、ユーザーのモデル予測に対する信頼性が顕著に向上するか？
• RQ2 SHAP説明に加えて出典および証拠を提示することで、誤情報関連コンテンツの共有意欲にどのような影響が生じるか？
• RQ3 バックトランスレーションによるデータ拡張は、COVID-19誤情報検出におけるDistilBERTモデルの性能向上に寄与するか？
• RQ4 提案された説明可能なモデルは、小規模および大規模データセットの両方において、従来の機械学習モデルよりも誤情報検出に優れているか？
• RQ5 説明の粒度レベルが異なる場合、参加者の信頼性および共有意思決定にどのような差が生じるか？

主な発見

• データ拡張を経た後、元の984件の主張から成るデータセットにおいて、モデルは97.2%の精度と0.993 AUCを達成し、高い検出性能を示した。
• より大きなAAAIC2021共有タスクデータセットでは、モデルは93.8%の精度と0.985 AUCを達成し、従来の機械学習モデルを上回った。
• TSE（テキスト＋SHAP）およびTSESE（テキスト＋SHAP＋出典および証拠）条件の参加者は、T（テキストのみ）条件の参加者に比べ、有意に高い信頼性と情報共有意欲を示した。
• TSEとTSESE条件間に有意な差は認められず、本研究の文脈ではSHAP説明の上にさらに出典と証拠を追加しても信頼性の向上に寄与しない可能性を示唆した。
• 本研究は、説明可能なAIモデルが自動誤情報検出システムに対する公的信頼を顕著に向上させられることを確認した。
• 参加者の中には、SHAP説明の解釈が困難と感じたケースもあったため、今後の研究ではより直感的な説明インターフェースの開発が求められる。