[논문 리뷰] How Vulnerable Are Automatic Fake News Detection Methods to Adversarial Attacks?

Camille Koenders, Johannes Filla외 2명|arXiv (Cornell University)|2021. 07. 16.

Misinformation and Its Impacts참고 문헌 26인용 수 4

한 줄 요약

이 논문은 TextAttack 라이브러리를 사용하여 최신 기술의 가짜 뉴스 탐지 모델이 악성 공격에 얼마나 취약한지 조사한다. 단어나 문자를 수정함으로써 의미를 유지하면서도 탐지 회피가 가능한 가짜 뉴스 문장의 비율이 65.15%임을 입증하며, 단어 수준의 공격이 문자 수준의 공격보다 훨씬 효과적임을 보여준다.

ABSTRACT

As the spread of false information on the internet has increased dramatically in recent years, more and more attention is being paid to automated fake news detection. Some fake news detection methods are already quite successful. Nevertheless, there are still many vulnerabilities in the detection algorithms. The reason for this is that fake news publishers can structure and formulate their texts in such a way that a detection algorithm does not expose this text as fake news. This paper shows that it is possible to automatically attack state-of-the-art models that have been trained to detect Fake News, making these vulnerable. For this purpose, corresponding models were first trained based on a dataset. Then, using Text-Attack, an attempt was made to manipulate the trained models in such a way that previously correctly identified fake news was classified as true news. The results show that it is possible to automatically bypass Fake News detection mechanisms, leading to implications concerning existing policy initiatives.

연구 동기 및 목표

• 자동 가짜 뉴스 탐지 모델의 악성 공격에 대한 취약성을 평가하기 위해.
• 악성 변형이 훈련된 가짜 뉴스 분류기들을 성공적으로 우회할 수 있는지 평가하기 위해.
• BERTweet, RoBERTa, Flair와 같은 다양한 모델의 공격에 대한 강건성을 비교하기 위해.
• 단어 수준 공격 레시피와 문자 수준 공격 레시피의 효과성을 분석하여 탐지 결과에 미치는 영향을 평가하기 위해.
• AI 기반 분류기를 기반으로 하는 자동 콘텐츠 모니터링 정책의 위험을 드러내어 정책 결정에 기여하기 위해.

제안 방법

• 가짜 뉴스 문장 데이터셋을 기반으로 최신 기술의 가짜 뉴스 탐지 모델인 BERTweet, RoBERTa, Flair를 훈련시켰다.
• TextAttack를 사용하여 문장의 단어 및 문자 수준의 변형을 통해 악성 예제를 생성하였다.
• 다양한 공격 레시피를 적용: TextFooler, IGAWang, PWWS, PSOZang, BAEGarg, DeepWordBug, TextBugger, Pruthi, CheckList2020.
• 공격 성공률을 다음 공식을 사용해 계산: $ S_r = \frac{1}{a} \sum_{i=1}^{a} \frac{s_i}{s_i + f_i} $, 여기서 $ s_i $는 성공한 공격 수, $ f_i $는 실패한 공격 수이다.
• 초기 분류 오류가 발생한 스킵된 인스턴스는 성공률 계산에서 제외하여, 정확히 분류된 가짜 뉴스 문장에 대한 공격에 집중하였다.
• 변형된 문장이 다시 진짜 뉴스로 재분류되는 빈도를 측정하여 모델의 강건성을 평가하였다.

실험 결과

연구 질문

• RQ1 TextAttack를 사용한 악성 공격에 대해 자동 가짜 뉴스 탐지 모델은 얼마나 취약한가?
• RQ2 단어 수준 공격과 문자 수준 공격 중 어느 것이 탐지 회피 성공률이 더 높은가?
• RQ3 BERTweet, RoBERTa, Flair와 같은 다양한 사전 훈련된 모델은 악성 조작에 대해 어떻게 취약한가?
• RQ4 악성 변형이 탐지 회피를 위해 의미를 유지하면서 얼마나 잘 보존되는가?
• RQ5 이러한 취약성은 정책 기반 콘텐츠 모니터링 전략에 어떤 영향을 미치는가?

주요 결과

• 모든 모델에 걸쳐 악성 공격의 총 성공률는 65.15%였으며, 이는 60% 이상의 가짜 뉴스 문장이 실제로 진짜 뉴스로 재분류될 수 있음을 시사한다.
• BERTweet는 72.45%의 성공률로 가장 높았고, RoBERTa가 68.22%였으며, Flair는 54.77%의 성공률로 가장 강건하였다.
• 단어 수준 공격의 평균 성공률는 76.87%였으며, 문자 수준 및 혼합 공격의 평균 성공률 55.21%보다 뚜렷이 높았다.
• TextFooler(81.17% 성공률)와 IGAWang(70% 성공률)는 가장 효과적인 공격 레시피에 속했고, CheckList2020와 Pruthi는 각각 9.83%와 27.83%의 낮은 성공률를 보였다.
• Flair의 문맥 기반 문자열 임베딩 사용 덕분에 문서 수준 임베딩에 의존하는 모델보다 더 강건한 편이었다.
• 높은 공격 성공률에도 불구하고, 많은 악성 변형 문장은 명백한 오류를 포함하고 있었으며(예: 'TrOmp hsut down American airportA on 4 Jul 201B'), 이는 인간에 의한 탐지가 여전히 효과적일 수 있음을 시사한다.