[논문 리뷰] Defending Against Neural Fake News

Rowan Zellers, Ari Holtzman외 5명|arXiv (Cornell University)|2019. 05. 29.

Misinformation and Its Impacts참고 문헌 35인용 수 89

한 줄 요약

이 논문은 Grover를 소개하며, 현실적인 신경 기반 가짜 뉴스를 생성할 수 있는 제어 가능한 텍스트 생성 모델과 그러한 콘텐츠를 탐지하기 위한 디스크리미네이터 모음을 제시합니다. 이는 생성기가 효과적인 탐지기가 될 수 있음을 보여주고, 인공물과 윤리적 공개 전략을 분석합니다.

ABSTRACT

Recent progress in natural language generation has raised dual-use concerns. While applications like summarization and translation are positive, the underlying technology also might enable adversaries to generate neural fake news: targeted propaganda that closely mimics the style of real news. Modern computer security relies on careful threat modeling: identifying potential threats and vulnerabilities from an adversary's point of view, and exploring potential mitigations to these threats. Likewise, developing robust defenses against neural fake news requires us first to carefully investigate and characterize the risks of these models. We thus present a model for controllable text generation called Grover. Given a headline like `Link Found Between Vaccines and Autism,' Grover can generate the rest of the article; humans find these generations to be more trustworthy than human-written disinformation. Developing robust verification techniques against generators like Grover is critical. We find that best current discriminators can classify neural fake news from real, human-written, news with 73% accuracy, assuming access to a moderate level of training data. Counterintuitively, the best defense against Grover turns out to be Grover itself, with 92% accuracy, demonstrating the importance of public release of strong generators. We investigate these results further, showing that exposure bias -- and sampling strategies that alleviate its effects -- both leave artifacts that similar discriminators can pick up on. We conclude by discussing ethical issues regarding the technology, and plan to release Grover publicly, helping pave the way for better detection of neural fake news.

연구 동기 및 목표

• 신경(disinformation) 관련 위협 모델링을 동기화하고 대립 주체가 어떻게 현실적인 가짜 뉴스를 생성할 수 있는지 연구한다.
• 메타데이터를 포함한 전체 뉴스 기사를 생성할 수 있는 제어 가능한 생성기(Grover)를 개발하여 적대적 시나리오를 시뮬레이션한다.
• 탐지 전략을 탐색하고, 실뉴스와 기계 작성 뉴스의 구분 성능을 평가한다(반지도 학습 설정 포함).
• 생성에서의 인공물(exposure bias, sampling strategies) 를 분석하고 탐지기가 이를 활용하는 방식과 안전한 공개 윤리를 논의한다.

제안 방법

• Grover를 제안한다, 대규모 RealNews 코퍼스로 학습된 Transformer 기반 생성기로, 도메인, 날짜, 저자, 헤드라인, 본문 등 다중 필드 뉴스 기사를 생성한다.
• 필드 간의 공동 분포를 분해하고 고정된 필드 순서를 사용하여 효율적 샘플링을 가능하게 하는 기사 생성 모델링(2).
• 필드 분할(F1, F2)과 교차 엔트로피 손실로 Grover를 학습하여 조건부 생성과 유연한 필드 조건화를 학습한다(3-4).
• 생성 분산을 제어하고 탐지기들을 돕는 인공물을 연구하기 위해 디코딩 전략(Nucleus/top-p sampling)을 연구한다.
• 실제 환경 배치를 위한 반지도 학습 설정을 포함하여, Grover를 디스크리미네이터로, GPT-2, BERT, FastText로 평가한다.
• 노출 편향과 분산 감소가 탐지에 미치는 영향 분석, Grover 생성 콘텐츠의 perplexity와 인간 판단 타당성 측정.

실험 결과

연구 질문

• RQ1 제어 가능한 생성기가 rich 메타데이터를 가진 현실적인 신경 가짜 뉴스를 생성할 수 있는가?
• RQ2 신경 가짜 뉴스를 위한 가장 효과적인 탐지 방법은 무엇이며, 생성기가 탐지기도 될 수 있는가?
• RQ3 생성 인공물(노출 편향 및 디코딩 분산)이 탐지 가능성에 어떤 영향을 미치며, 견고한 평가를 위해 디코딩을 어떻게 조정해야 하는가?
• RQ4 강력한 생성 모델의 공개 및 사용에 대한 안전하고윤리적인 전략은 무엇인가? disinformation 방어를 위해.

주요 결과

• 실뉴스 대 가 Grover생성 콘텐츠를 구분하는 디스크리미네이터가 높은 정확도를 달성하고, Grover-Mega 기반 탐지기가 자신의 생성물을 식별하는 데 약 92%의 정확도에 도달한다.
• Grover를 디스크리미네이터로 사용할 때 다른 모델들(BERT, GPT-2, FastText)보다 우수한 성능을 보이며, 특히 생성기 크기에 맞춰 매칭될 때 더 좋다.
• 노출 편향과 디코딩 전략(top-p 샘플링)이 탐지 가능한 인공물을 만들어내며, 디테렐링 가장 어려운 top-p의 달콤한 지점이 존재한다(대략 0.94–0.98).
• Grover를 사용해 Grover의 자체 생성물을 탐지하는 것은generator 확장에도 여전히 매우 효과적이며, 방어를 돕기 위해 강력한 생성기를 공개하는 가치가 있음을 강조한다.
• 반지도 설정은 실뉴스 데이터가 풍부하고 생성 데이터가 제한된 상황에서 견고한 탐지 성능을 달성할 수 있으며, 도메인 내 예제가 부족할 때 약한 지도 학습이 발견에 도움을 준다.