[논문 리뷰] Learning from Fact-checkers: Analysis and Generation of Fact-checking Language

Nguyen D. Vo, Kyumin Lee|arXiv (Cornell University)|2019. 10. 04.

Misinformation and Its Impacts인용 수 7

한 줄 요약

이 논문은 온라인 논의에서 잘못된 정보를 반박하는 사실 확인 응답(FC-tweets)을 생성하기 위한 딥러닝 프레임워크를 제안한다. 64,110개의 원본 트윗과 관련된 사실 확인 응답을 포함하는 맞춤형 데이터셋을 사용하여, 저자들은 이중 교사 distillation 방식을 적용한 시퀀스-투-시퀀스 모델(FCRG-DT)을 훈련시켰으며, 이는 관련성 측면에서 기준 모델 대비 최대 30% 향상되었고, 더 공식적이고 사실 기반의 응답을 생성하여 잘못된 정보 유포를 효과적으로 줄였다.

ABSTRACT

In fighting against fake news, many fact-checking systems comprised of human-based fact-checking sites (e.g., snopes.com and politifact.com) and automatic detection systems have been developed in recent years. However, online users still keep sharing fake news even when it has been debunked. It means that early fake news detection may be insufficient and we need another complementary approach to mitigate the spread of misinformation. In this paper, we introduce a novel application of text generation for combating fake news. In particular, we (1) leverage online users named \\emph{fact-checkers}, who cite fact-checking sites as credible evidences to fact-check information in public discourse; (2) analyze linguistic characteristics of fact-checking tweets; and (3) propose and build a deep learning framework to generate responses with fact-checking intention to increase the fact-checkers' engagement in fact-checking activities. Our analysis reveals that the fact-checkers tend to refute misinformation and use formal language (e.g. few swear words and Internet slangs). Our framework successfully generates relevant responses, and outperforms competing models by achieving up to 30\\% improvements. Our qualitative study also confirms that the superiority of our generated responses compared with responses generated from the existing models.

연구 동기 및 목표

• 기존의 사실 확인 시스템에도 불구하고 가짜 뉴스가 지속적으로 확산되는 문제를 해결하기 위해, 자동 응답 생성을 통해 인간의 사실 확인 작업을 지원하는 방법을 탐색한다.
• 원본 트윗과 사실 확인 응답이 짝지어진 대규모 데이터셋을 수집하고 분석하여 사실 확인 커뮤니케이션의 언어적 패턴을 이해한다.
• 원본 트윗에 대해 관련성 있고 공식적이며 사실 확인 의도를 담은 응답을 생성하는 텍스트 생성 프레임워크를 개발하여 사실 확인자의 영향력을 극대화한다.
• 자동 평가 지표와 인간 평가를 통한 비교를 통해 모델의 성능을 평가하여 관련성과 공식성 측면에서 향상된 결과를 확인한다.

제안 방법

• 저자들은 트위터에서 실제 사용자가 인용한 신뢰할 수 있는 사실 확인 자료를 근거로 하는 64,110개의 원본 트윗과 사실 확인 응답을 포함하는 데이터셋을 수집하였다.
• 사실 확인 트윗의 언어적 특징을 분석한 결과, 사실 확인자는 공식적인 언어를 사용하고 비속어나 인터넷 슬랭을 피하며 주로 증거를 제시하여 잘못된 정보를 반박하는 것으로 나타났다.
• 이중 교사 distillation을 적용한 시퀀스-투-시퀀스 텍스트 생성 모델(FCRG-DT)을 제안하였으며, 두 개의 교사 모델에서 유래한 지식을 통합하여 응답 품질을 향상시켰다.
• 모델은 새로 학습한 워드 임베딩을 사용하며, 입력 트윗과 생성된 응답 간의 정렬을 위해 어텐션 메커니즘을 적용한다.
• 자동 평가 지표(ROUGE, BLEU, F1)와 인간 평가를 활용하여 프레임워크를 평가하였으며, 기준 모델(SeqAttB, FCRG-Baseline)과의 비교를 통해 성능을 분석하였다.

실험 결과

연구 질문

• RQ1 사람들이 잘못된 정보에 응답할 때 사실 확인자는 일반 사용자와 어떻게 언어적으로 다를까?
• RQ2 사실 확인 트윗은 랜덤 또는 비사실 확인 응답과 비교해 어떤 핵심적인 언어적 및 구조적 특징을 가지는가?
• RQ3 딥러닝 모델을 효과적으로 훈련시켜 원본 트윗 기반으로 관련성 있고 공식적인 어조의 사실 확인 응답을 생성할 수 있는가?
• RQ4 제안된 FCRG-DT 모델은 기준 모델 대비 명확한 사실 확인 의도를 가진 응답을 어떻게 더 잘 생성하는가?

주요 결과

• 사실 확인 트윗은 일반적 또는 무작위 응답보다 훨씬 더 공식적인 어조를 띠며, 더 적은 수의 저속어나 인터넷 슬랭어를 사용함으로써 설득력 있는 커뮤니케이션 전략을 취하고 있음을 시사한다.
• 사실 확인자는 주로 잘못된 정보를 반박하며, 원본 트윗의 주장에 매우 정확하게 대응하는 것으로 나타났다.
• FCRG-DT 모델은 자동 평가 지표와 인간 평가를 통해 기준 모델 대비 관련성 측면에서 최대 30% 향상된 성능을 기록하였다.
• 인간 평가 결과, FCRG-DT 응답은 경쟁 모델 대비 더 관련성 있고 더 공식적인 구조를 지닌 것으로 확인되었다.
• 모델이 학습한 워드 임베딩은 의미적 관계를 잘 포착하였으며, 예를 들어 'obamacare'는 'healthcare'와 'immunity'에 대해 의미적으로 유사하고, 'politifact'는 'debunks'와 'answered'에 대해 의미적으로 유사한 관계를 보였다.
• 사실 확인 기사의 내용을 사용했음에도 성능 향상이 없었으며, 이는 외부 기사 텍스트에 의존하기보다 직접 트윗에서 응답을 생성하는 것이 더 효과적임을 시사한다.