[논문 리뷰] Neural Deepfake Detection with Factual Structure of Text

Wanjun Zhong, Duyu Tang외 6명|arXiv (Cornell University)|2020. 10. 15.

Topic Modeling참고 문헌 24인용 수 4

한 줄 요약

이 논문은 문장 및 문서 표현을 향상시키기 위해 그래프 신경망을 사용하여 텍스트의 사실적 구조(엔티티 그래프로 표현됨)를 활용하는 그래프 기반 딥패이크 검출 모델인 FAST를 제안한다. 실험 결과, 뉴스 스타일 및 웹텍스트 스타일의 딥패이크 데이터셋에서 RoBERTa 기반 베이스라인에 비해 유의하게 뛰어난 성능을 보이며, 인간이 작성한 텍스트와 기계가 생성한 텍스트 간의 사실적 구조 불일치를 포착함으로써 성능 향상을 이룬다.

ABSTRACT

Deepfake detection, the task of automatically discriminating machine-generated text, is increasingly critical with recent advances in natural language generative models. Existing approaches to deepfake detection typically represent documents with coarse-grained representations. However, they struggle to capture factual structures of documents, which is a discriminative factor between machine-generated and human-written text according to our statistical analysis. To address this, we propose a graph-based model that utilizes the factual structure of a document for deepfake detection of text. Our approach represents the factual structure of a given document as an entity graph, which is further utilized to learn sentence representations with a graph neural network. Sentence representations are then composed to a document representation for making predictions, where consistent relations between neighboring sentences are sequentially modeled. Results of experiments on two public deepfake datasets show that our approach significantly improves strong base models built with RoBERTa. Model analysis further indicates that our model can distinguish the difference in the factual structure between machine-generated text and human-written text.

연구 동기 및 목표

• 기존 딥패이크 검출 모델이 굵은 흐름의 표현에 의존하고 사실적 구조의 미세한 특징을 포착하지 못하는 데서 비롯되는 한계를 해결하기 위해.
• 인간이 작성한 텍스트와 기계가 생성한 텍스트 간의 구분 신호로 기능할 수 있는 사실적 구조의 불일치(예: 이질적인 엔티티 및 문장 일관성)가 존재하는지 탐구하기 위해.
• 내부 사실적 구조와 위키백과에서의 외부 지식을 통합하여 딥패이크 검출 성능을 향상시키는 그래프 기반 방법을 개발하기 위해.
• 표준 트랜스포머 기반 모델이 달성할 수 있는 성능을 넘어서 사실적 구조 일관성 모델링이 검출 성능 향상에 기여하는지 입증하기 위해.

제안 방법

• 문서의 사실적 구조는 엔티티 간의 의미적 관련 관계를 나타내는 간선을 가진 엔티티 그래프로 표현된다. 여기서 노드는 NER를 통해 추출된 명시적 엔티티이다.
• 노드 표현은 내부 그래프 구조와 위키백과에서 사전 훈련된 엔티티 임베딩을 결합하는 그래프 컬러션 네트워크(GCN)를 사용하여 학습된다.
• 문장 표현은 각 문장 내의 노드 표현을 집계하여 구성되며, 지역적 사실 일관성을 포착한다.
• 문서 수준의 표현은 순환 메커니즘을 사용하여 인접한 문장 표현 간의 일관성을 순차적으로 모델링하여 형성된다.
• 최종 예측은 구성된 문서 표현에 분류기 모델을 적용하여 수행되며, 엔드 투 엔드 훈련이 가능하다.
• 모델은 두 가지 데이터셋에서 훈련된다: 하나는 GROVER가 생성한 가짜 뉴스이고, 다른 하나는 GPT-2가 생성한 웹텍스트이며, 이는 이진 교차 엔트로피 손실을 사용한다.

실험 결과

연구 질문

• RQ1 엔티티 일관성 및 문장 일관성으로 측정된 사실적 구조 불일치가 인간이 작성한 텍스트와 기계가 생성한 텍스트를 효과적으로 구분하는 데 기여하는가?
• RQ2 표준 트랜스포머 기반 모델에 비해 문서의 사실적 구조를 모델링하는 것이 딥패이크 검출 성능 향상에 어느 정도 기여하는가?
• RQ3 예를 들어 위키백과 기반 엔티티 임베딩과 같은 외부 지식의 통합이 생성된 텍스트에서의 사실적 불일치 탐지에 어떻게 기여하는가?
• RQ4 문장 간 일관성의 순차적 모델링이 유창하지만 사실적으로 불일치하는 딥패이크를 탐지하는 데 어떻게 기여하는가?

주요 결과

• 통계 분석 결과, 기계가 생성한 텍스트는 인간이 작성한 텍스트에 비해 엔티티 일관성 수치(ECC)와 문장 일관성 수치(SCC)가 유의미하게 낮음을 확인하여 사실적 구조의 불일치를 시사한다.
• 제안된 FAST 모델은 GROVER가 생성한 뉴스 데이터셋과 GPT-2가 생성한 웹텍스트 데이터셋 양쪽에서 RoBERTa 기반 베이스라인에 비해 유의미한 성능 향상을 보였다.
• 제거 실험 결과, 그래프 기반 사실적 구조 모델링과 외부 지식 통합이 성능 향상에 뚜렷한 기여를 한다는 것이 확인되었다.
• 모델 분석 결과, FAST는 특히 엔티티 전이와 문장 수준의 일관성에서 사실적 불일치를 효과적으로 탐지하는 것을 학습하는 것으로 나타났다. 이는 기계가 생성한 콘텐츠의 특징이다.
• 모델는 뉴스와 같은 공식적인 뉴스 스타일과 웹텍스트와 같은 비공식적인 스타일에 걸쳐 뛰어난 강인성을 보이며, 광범위한 적용 가능성을 시사한다.
• 사실적 구조 모델링의 통합은, 유창하고 일관성 있는 것처럼 보이지만 불합리하거나 일관성 없는 사실적 주장(예: 유니콘 또는 네 뿔을 가진 동물 등)을 포함한 딥패이크를 탐지하는 데 도움을 준다.