[논문 리뷰] Faking Fake News for Real Fake News Detection: Propaganda-loaded Training Data Generation

Kung-Hsiang Huang, Kathleen McKeown외 3명|arXiv (Cornell University)|2022. 03. 10.

Misinformation and Its Impacts인용 수 5

한 줄 요약

이 논문은 사실적으로 일관되고 맥락적으로 타당한 뉴스 기사에 인간처럼 보이는 선전 기법—예를 들어 감정을 자극하는 언어나 권위에 호소하는 방식—을 주입하여 가짜 뉴스 탐지용 훈련 데이터를 생성하는 프레임워크를 제안한다. 자연어 추론 모델을 활용한 자기비판적 순서 학습을 통해 고품질의 선전 기반 가짜 뉴스 예제를 생성함으로써, 인간이 작성한 기만 정보 데이터셋에서 F1 스코어가 3.62–7.69% 향상된 탐지기 모델을 도출하였으며, 향후 연구를 위해 PropaNews 데이터셋(2,256개 예제)을 공개한다.

ABSTRACT

Despite recent advances in detecting fake news generated by neural models, their results are not readily applicable to effective detection of human-written disinformation. What limits the successful transfer between them is the sizable gap between machine-generated fake news and human-authored ones, including the notable differences in terms of style and underlying intent. With this in mind, we propose a novel framework for generating training examples that are informed by the known styles and strategies of human-authored propaganda. Specifically, we perform self-critical sequence training guided by natural language inference to ensure the validity of the generated articles, while also incorporating propaganda techniques, such as appeal to authority and loaded language. In particular, we create a new training dataset, PropaNews, with 2,256 examples, which we release for future use. Our experimental results show that fake news detectors trained on PropaNews are better at detecting human-written disinformation by 3.62 - 7.69% F1 score on two public datasets.

연구 동기 및 목표

• 기존 탐지 모델의 이식성에 제약을 주는 기계적으로 생성된 가짜 뉴스와 인간이 작성한 기만 정보 사이의 격차를 해소하기 위해.
• 인간이 작성한 선전의 스타일적 및 전략적 특성을 모방하는 훈련 데이터를 생성함으로써 가짜 뉴스 탐지 성능을 향상시키기 위해.
• 시간이 오래 걸리고 크기가 제한된 수동 커리레이션 방식의 기만 정보 데이터셋 대체로 가용성과 확장성이 뛰어난 방법을 마련하기 위해.
• 자연어 추론을 통합하여 일관성을 확보하고 선전 기법을 적용하여 현실감을 높이는 데이터 생성 프레임워크를 개발하기 위해.
• 향후 연구를 지원하기 위해 인간이 작성한 기만 정보 탐지 분야에서의 연구를 지원하는 새로운 데이터셋인 PropaNews를 공개하기 위해.

제안 방법

• 기본 뉴스 기사가 주어지면, 순서에서 순서로 모델을 사용하여 원본 문장 중 핵심 문장을 가짜이지만 타당성 있는 주장으로 대체한다.
• 자기비판적 순서 학습을 통해 사전 훈련된 자연어 추론(NLI) 모델을 손실 함수에 통합함으로써 생성된 내용이 원본 맥락에 함의되어 있음을 보장한다.
• NLI 모델을 사용하여 원본 텍스트에서 논리적으로 유추될 수 있는 문장을 걸러내어 사실상의 모순성과 현실감을 확보한다.
• 감정을 자극하는 언어나 권위에 호소하는 방식과 같은 선전 기법을 생성된 텍스트에 명시적으로 통합하여 인간의 기만 정보 전략을 모방한다.
• 프레임워크는 사전 훈련된 트랜스포머 모델과 커리레이션된 선전 템플릿 세트를 결합하여 훈련 및 평가한다.
• 최종 결과로는 2,256개의 고품질 선전 기반 가짜 뉴스 예제를 포함한 합성 데이터셋인 PropaNews가 생성된다.

실험 결과

연구 질문

• RQ1 인간처럼 보이는 선전 기법을 적용해 가짜 뉴스를 생성하면, 인간이 작성한 기만 정보에 대한 일반화 성능이 향상되는가?
• RQ2 생성 과정 중 자연어 추론을 통합할 경우, 생성된 가짜 뉴스의 일관성과 타당성은 어떻게 영향을 받는가?
• RQ3 기본 생성 방법과 비교했을 때, PropaNews에서 훈련된 모델이 실제 인간이 작성한 기만 정보 데이터셋에서 탐지 성능을 얼마나 향상시키는가?
• RQ4 기계적으로 생성된 가짜 뉴스와 인간이 작성한 가짜 뉴스 사이의 스타일적 및 의도적 차이가 탐지기 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 현재 지원하는 범위를 초월해 다른 언어 및 추가적인 선전 기법으로 확장될 수 있는가?

주요 결과

• PropaNews 데이터셋에서 훈련된 가짜 뉴스 탐지기 모델은 공개된 인간이 작성한 기만 정보 데이터셋인 PolitiFact와 Snopes에서 F1 스코어가 각각 3.62–7.69% 향상되었다.
• 성능 향상은 다양한 모델 아키텍처에 걸쳐 일관되게 관찰되어, 생성된 훈련 데이터의 강건성을 입증했다.
• NLI 모델을 활용한 자기비판적 순서 학습을 통해 원본 맥락과 논리적으로 일관된 내용을 생성함으로써, 생성된 가짜 뉴스의 일관성과 타당성이 크게 향상되었다.
• 생성기 모델은 감정을 자극하는 언어나 권위에 호소하는 방식과 같은 핵심 선전 기법을 성공적으로 통합하여, 생성된 콘텐츠가 인간이 작성한 기만 정보에 더 가깝게 표현되었다.
• 성능 향상에도 불구하고, 훈련 데이터 크기가 원래 Snopes 데이터셋의 다섯 배를 초과하면 탐지기 성능이 정체되는 경향을 보였으며, 이는 합성 데이터와 인간이 작성한 콘텐츠 사이에 여전히 지속적인 격차가 있음을 시사한다.
• 현재로선 영어에 국한되어 있으며, 스트로우맨 오류와 같은 일부 선전 기법을 생성할 수 없어未래 확장의 필요성을 드러낸다.