[論文レビュー] How Vulnerable Are Automatic Fake News Detection Methods to Adversarial Attacks?

Camille Koenders, Johannes Filla+2 more|arXiv (Cornell University)|Jul 16, 2021

Misinformation and Its Impacts参考文献 26被引用数 4

ひとこと要約

この論文は、TextAttackライブラリを用いて、最先端のフェイクニュース検出モデルに対する敵対的攻撃の脆弱性を調査している。65.15%のフェイクニュース文が、意味を保ったまま語彙や文字を変更するだけで検出を回避できることが示され、語レベルの攻撃が文字レベルの攻撃よりも顕著に効果的であることが明らかになった。

ABSTRACT

As the spread of false information on the internet has increased dramatically in recent years, more and more attention is being paid to automated fake news detection. Some fake news detection methods are already quite successful. Nevertheless, there are still many vulnerabilities in the detection algorithms. The reason for this is that fake news publishers can structure and formulate their texts in such a way that a detection algorithm does not expose this text as fake news. This paper shows that it is possible to automatically attack state-of-the-art models that have been trained to detect Fake News, making these vulnerable. For this purpose, corresponding models were first trained based on a dataset. Then, using Text-Attack, an attempt was made to manipulate the trained models in such a way that previously correctly identified fake news was classified as true news. The results show that it is possible to automatically bypass Fake News detection mechanisms, leading to implications concerning existing policy initiatives.

研究の動機と目的

• 自動フェイクニュース検出モデルの敵対的攻撃に対する脆弱性を評価すること。
• 敵対的摂動が訓練済みのフェイクニュース分類器を効果的に回避できるかどうかを評価すること。
• 異なる攻撃タイプにおける、BERTweet、RoBERTa、Flairの各モデルの耐性を比較すること。
• 語レベルと文字レベルの攻撃レシピの効果性を比較し、検出結果への影響を分析すること。
• AI分類器に依存する自動コンテンツモデレーションの政策的意思決定に影響を与えるためのリスクを明らかにすること。

提案手法

• フェイクニュース文のデータセットを用いて、BERTweet、RoBERTa、Flairの3つの最先端フェイクニュース検出モデルを訓練した。
• TextAttackを用いて、入力文を語と文字レベルの摂動で変更することで敵対的例を生成した。
• 複数の攻撃レシピを用いた：TextFooler、IGAWang、PWWS、PSOZang、BAEGarg、DeepWordBug、TextBugger、Pruthi、CheckList2020。
• 成功確率を次の式で計算した：$ S_r = \frac{1}{a} \sum_{i=1}^{a} \frac{s_i}{s_i + f_i} $、ここで $ s_i $ は成功した攻撃数、$ f_i $ は失敗した攻撃数（各レシピごと）。
• 初期段階で誤分類されたインスタンス（スキップされたインスタンス）は、成功確率の計算から除外し、正しくラベル付けされたフェイクニュースを標的とした攻撃に焦点を当てた。
• 摂動を加えた文が再び「本物のニュース」として再分類される頻度を測ることで、モデルの耐性を評価した。

実験結果

リサーチクエスチョン

• RQ1 自動フェイクニュース検出モデルは、TextAttackを用いた敵対的攻撃に対してどれほど脆弱であるか？
• RQ2 語レベル攻撃と文字レベル攻撃のうち、どちらが検出回避の成功率が高いか？
• RQ3 BERTweet、RoBERTa、Flairといった異なる事前学習モデルは、敵対的操作に対してそれぞれどのように感受性を示すか？
• RQ4 敵対的摂動は、検出を回避する一方で、意味的意味をどれほど保っているのか？
• RQ5 これらの脆弱性は、AI分類器に依存する政策主導のコンテンツモデレーション戦略にどのような影響を及えるか？

主な発見

• 全モデルにわたる敵対的攻撃の全体的な成功確率は65.15%であり、60%を超えるフェイクニュース文が実際に本物のニュースとして再分類可能であることを示している。
• BERTweetは72.45%の成功確率を示し、最も高い結果を記録。次にRoBERTaが68.22%、Flairは54.77%で最も耐性が高かった。
• 語レベル攻撃の平均成功確率は76.87%に達し、文字レベルや混合攻撃（平均55.21%）を顕著に上回った。
• TextFooler（81.17%の成功確率）とIGAWang（70%）は、最も効果的な攻撃レシピの一つであった。一方、CheckList2020とPruthiはそれぞれ9.83%、27.83%の低成功率を示した。
• Flairは文脈に基づく文字列埋め込みを用いるため、文書レベルの埋め込みに依存するモデルよりも敵対的攻撃に対してより耐性があることが分かった。
• 高い攻撃成功率にもかかわらず、多くの敵対的に変更された文には明白な誤り（例：'TrOmp hsut down American airportA on 4 Jul 201B'）が含まれており、人間による検出が依然として有効である可能性がある。