[논문 리뷰] Topic-Preserving Synthetic News Generation: An Adversarial Deep Reinforcement Learning Approach

Ahmadreza Mosallanezhad, Kai Shu외 1명|arXiv (Cornell University)|2020. 10. 30.

Topic Modeling참고 문헌 36인용 수 8

한 줄 요약

이 논문은 GPT-2를 제어하여 주제 유지 성능을 높이고 가짜 뉴스 감지에 회피할 수 있는 현실적인 합성 뉴스를 생성하기 위해 주제 관련성과 적대적 현실성의 최대화를 목표로 하는 강화학습 프레임워크 RLTG를 제안한다. 가짜 뉴스 탐지기의 출력을 보상 신호로 사용함으로써, 이 방법은 탐지에 회피되는 고품질의 현실적인 가짜 뉴스를 생성하며, ROUGE-L 및 탐지 정확도 지표에서 최신 기준 성능을 초월한다.

ABSTRACT

Nowadays, there exist powerful language models such as OpenAI's GPT-2 that can generate readable text and can be fine-tuned to generate text for a specific domain. Considering GPT-2, it cannot directly generate synthetic news with respect to a given topic and the output of the language model cannot be explicitly controlled. In this paper, we study the novel problem of topic-preserving synthetic news generation. We propose a novel deep reinforcement learning-based method to control the output of GPT-2 with respect to a given news topic. When generating text using GPT-2, by default, the most probable word is selected from the vocabulary. Instead of selecting the best word each time from GPT-2's output, an RL agent tries to select words that optimize the matching of a given topic. In addition, using a fake news detector as an adversary, we investigate generating realistic news using our proposed method. In this paper, we consider realistic news as news that cannot be easily detected by a fake news classifier. Experimental results demonstrate the effectiveness of the proposed framework on generating topic-preserving news content than state-of-the-art baselines.

연구 동기 및 목표

• 가짜 뉴스 분류기로부터 쉽게 탐지되지 않으면서도 주제를 유지하는 합성 뉴스를 생성하는 문제를 해결하기 위해.
• GPT-2와 같은 사전 훈련된 언어 모델로부터 제어 가능한 텍스트 생성을 가능하게 하기 위해, 주제 관련성 향상을 향한 단어 선택을 이끄는 강화학습 에이전트를 도입하기 위해.
• 사전 훈련된 언어 모델을 활용하여 미리 훈련된 모델을 다시 훈련하는 대신, 훈련 시간과 자원 소모를 줄이기 위해.
• 인간이 작성한 뉴스와 기계가 생성한 뉴스 간의 차이를 분석하여 가짜 뉴스 탐지 성능을 향상시키기 위해.
• 연구 및 정보 왜곡 방어를 위한 스케일러블하고 빠르며 제어 가능한 합성 뉴스 생성 방법을 개발하기 위해.

제안 방법

• 프레임워크는 각 단계에서 다음 단어에 대한 확률 분포를 생성하기 위해 사전 훈련된 GPT-2 모델을 사용한다.
• 강화학습 에이전트는 주제 관련성, 유창성, 적대적 현실성의 균형을 고려한 보상 함수에 기반하여 GPT-2의 출력 분포에서 단어를 선택한다.
• 보상 함수는 세 가지 구성 요소를 포함한다: 훈련 데이터와의 내용 일치도를 측정하는 ROUGE-L 점수, 주제 인코더를 통한 주제 유사도, 가짜 뉴스 분류기로부터의 적대적 보상.
• 에이전트는 순차적 생성 동안 누적 보상을 최대화하기 위해 딥 Q넷(DQN) 강화학습을 사용하여 훈련된다.
• 적대자 모듈(가짜 뉴스 분류기)이 실시간 피드백을 제공하여, 분류기가 쉽게 탐지하지 못하는 뉴스 생성을 유도한다.
• 시스템은 커리큘럼 학습 전략을 사용하여 엔드 투 엔드로 미세조정되며, 이로써 일관성 있고 주제 일관성 및 현실성 있는 뉴스 생성을 학습한다.

실험 결과

연구 질문

• RQ1 강화학습 에이전트가 사전 훈련된 언어 모델을 효과적으로 제어하여 주어진 주제를 유지하는 합성 뉴스를 생성할 수 있는가?
• RQ2 가짜 뉴스 분류기와의 적대적 훈련이 생성된 뉴스 콘텐츠의 현실성 향상에 기여하는가?
• RQ3 제안된 방법은 주제 유지 및 탐지 회피 측면에서 최신 기준 성능과 비교해 어떻게 성과를 내는가?
• RQ4 보상 함수의 다양한 구성 요소가 생성된 뉴스의 품질과 일관성에 미치는 영향은 무엇인가?
• RQ5 이 프레임워크는 사전 훈련된 모델을 다시 훈련하는 데에 소요되는 시간이 훨씬 더 적게 걸리는가?

주요 결과

• RLTG 프레임워크는 테스트 세트에서 ROUGE-L 점수 0.58을 기록하여, 주제 유지 및 유창성 측면에서 기준 방법들을 크게 능가했다.
• 훈련된 가짜 뉴스 분류기는 정확도 81.3%와 AUC 75.3%를 달성하여, 생성된 뉴스가 현실적이며 탐지하기 어려운 것으로 나타났다.
• 강화학습 에이전트의 평균 보상은 시간이 지남에 따라 증가하여, 4,000회의 훈련 반복 이내에 효과적인 학습과 수렴을 보였다.
• 파rameter 분석 결과, 훈련 데이터와의 겹침을 측정하는 β 성분이 ROUGE-L 성능에 가장 큰 영향을 미쳤다.
• 모델 훈련은 하루가 채 안 되어, Grover나 GPT-2와 같이 처음부터 수주간을 소요하는 방법보다 훨씬 빠르게 이루어졌다.
• 인간 평가 결과, 생성된 뉴스는 일관된 스타일, 일관성 있는 콘텐츠, 명확한 주제 집중도를 보였으며, 인간 평가자들 중 70%가 샘플을 신뢰할 수 있다고 평가했다.