[논문 리뷰] Taking a Stance on Fake News: Towards Automatic Disinformation Assessment via Deep Bidirectional Transformer Language Models for Stance Detection

Chris Dulhanty, Jason Deglint외 2명|arXiv (Cornell University)|2019. 11. 27.

Misinformation and Its Impacts참고 문헌 35인용 수 23

한 줄 요약

이 논문은 RoBERTa, 즉 딥 밴디렉셔널 트랜스포머 언어 모델을 기반으로 한 전이 학습을 사용하여 가짜 뉴스 평가를 위한 최신 기술 수준의 스탠스 검출 모델을 제안한다. 주장과 기사 간의 양방향 크로스 어텐션을 활용함으로써, 이 방법은 FNC-I 기준으로 90.01%의 가중 정확도를 달성하여 이전의 접근 방식을 능가하며, 대규모 언어 모델이 자동화된 위성 정보 탐지에 어떻게 기여할 수 있는지 잠재력을 보여준다.

ABSTRACT

The exponential rise of social media and digital news in the past decade has had the unfortunate consequence of escalating what the United Nations has called a global topic of concern: the growing prevalence of disinformation. Given the complexity and time-consuming nature of combating disinformation through human assessment, one is motivated to explore harnessing AI solutions to automatically assess news articles for the presence of disinformation. A valuable first step towards automatic identification of disinformation is stance detection, where given a claim and a news article, the aim is to predict if the article agrees, disagrees, takes no position, or is unrelated to the claim. Existing approaches in literature have largely relied on hand-engineered features or shallow learned representations (e.g., word embeddings) to encode the claim-article pairs, which can limit the level of representational expressiveness needed to tackle the high complexity of disinformation identification. In this work, we explore the notion of harnessing large-scale deep bidirectional transformer language models for encoding claim-article pairs in an effort to construct state-of-the-art stance detection geared for identifying disinformation. Taking advantage of bidirectional cross-attention between claim-article pairs via pair encoding with self-attention, we construct a large-scale language model for stance detection by performing transfer learning on a RoBERTa deep bidirectional transformer language model, and were able to achieve state-of-the-art performance (weighted accuracy of 90.01%) on the Fake News Challenge Stage 1 (FNC-I) benchmark. These promising results serve as motivation for harnessing such large-scale language models as powerful building blocks for creating effective AI solutions to combat disinformation.

연구 동기 및 목표

• 소셜 미디어 및 디지털 뉴스를 통해 퍼지는 위성 정보의 증가하는 사회적 위협을 다루기 위해.
• 확장 가능한 자동 사실 확인 시스템을 위한 기초 단계로 자동 스탠스 검출을 향상시키기 위해.
• 수동으로 설계된 특징이나 浅층 워드 임베딩에 의존하는 이전 방법의 한계를 극복하기 위해.
• 위성 정보 탐지에서 대규모 깊이의 양방향 트랜스포머 모델의 효과성을 탐색하기 위해.
• FNC-I 데이터셋에서 새로운 최고 성능 기준을 설정하기 위해.

제안 방법

• 스탠스 검출을 위해 주장-기사 쌍에 대해 RoBERTa 기반의 딥 밴디렉셔널 트랜스포머 언어 모델을 피나이닝하는 것.
• 자기 어텐션과 양방향 크로스 어텐션을 사용한 페어 인코딩을 통해 주장과 기사 간의 문맥적 관계를 모델링하는 것.
• 대규모 비라벨 텍스트에서 사전 훈련한 후 FNC-I 데이터셋에서 전이 학습을 수행하는 것.
• 동의, 반대, 스탠스 없음, 관련 없음의 네 가지 스탠스 클래스 중 하나를 예측하기 위해 분류 헤드를 사용하는 것.
• 교차 엔트로피 손실과 Adam 최적화를 사용한 표준 NLP 훈련 절차를 통해 모델을 최적화하는 것.
• RoBERTa가 학습한 계층적이고 문맥 기반 표현을 활용하여 위성 정보에서 미묘한 언어 패턴을 포착하는 것.

실험 결과

연구 질문

• RQ1 RoBERTa와 같은 대규모 깊이의 양방향 트랜스포머 모델이 기존의 특징 기반 또는 얕은 임베딩 방법보다 위성 정보의 스탠스 검출에서 더 우수한 성능을 보일 수 있는가?
• RQ2 주장과 기사 간의 양방향 크로스 어텐션은 스탠스 분류 성능 향상에 어느 정도 기여하는가?
• RQ3 RoBERTa를 사용한 전이 학습을 통해 FNC-I 벤치마크에서 어떤 정도의 정확도를 달성할 수 있는가?
• RQ4 가짜 뉴스 챌린지 이후로 발표된 최신 기술 수준의 모델들과 비교해 본다면, 제안된 방법은 어떻게 다른가?
• RQ5 이러한 모델을 실제 사실 확인 시스템에 배포할 경우 도사되는 윤리적 리스크와 제약은 무엇인가?

주요 결과

• 제안된 RoBERTa 기반 모델은 FNC-I 벤치마크에서 90.01%의 가중 정확도를 달성하여 새로운 최고 성능 기록을 수립했다.
• 모델은 표준 정확도 93.71%를 기록했으며, 이는 이전의 방법들 중 Zhang 등(2019)의 88.15% 가중 정확도를 크게 뛰어넘는 성과이다.
• 이전 방법 대비 성능 향상은 2017년 가짜 뉴스 챌린지 종료 이후 오차율이 약 8% 감소한 것으로 나타났다.
• 대규모 사전 훈련을 통해 학습된 깊이의 문맥 기반 표현이 위성 정보 맥락에서의 스탠스 검출에 효과적이라는 점을 입증했다.
• 원래의 가짜 뉴스 챌린지에서 상위 3개의 모델과 이후의 모든 주요 후속 접근 방식보다 FNC-I 테스트 세트에서 뛰어난 성능을 보였다.
• 결과는 양방향 크로스 어텐션과 RoBERTa를 활용한 전이 학습이 자동 스탠스 검출에 강력한 프레임워크로 기능할 수 있음을 검증한다.