[논문 리뷰] Applying Automatic Text Summarization for Fake News Detection

Philipp Hartl, Udo Kruschwitz|arXiv (Cornell University)|2022. 04. 04.

Misinformation and Its Impacts인용 수 4

한 줄 요약

이 논문은 BERT 기반의 맥락 임bedding과 추출적 요약 및 개괄적 요약을 통합하는 앙상블 딥러닝 프레임워크인 CMTR-BERT를 제안한다. 이는 가짜 뉴스 탐지 성능을 향상시키기 위해 고계층 표현과 맥락 정보를 결합한다. 두 개의 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 요약 및 맥락 정보가 탐지 정확도에 크게 기여함을 입증한다.

ABSTRACT

The distribution of fake news is not a new but a rapidly growing problem. The shift to news consumption via social media has been one of the drivers for the spread of misleading and deliberately wrong information, as in addition to it of easy use there is rarely any veracity monitoring. Due to the harmful effects of such fake news on society, the detection of these has become increasingly important. We present an approach to the problem that combines the power of transformer-based language models while simultaneously addressing one of their inherent problems. Our framework, CMTR-BERT, combines multiple text representations, with the goal of circumventing sequential limits and related loss of information the underlying transformer architecture typically suffers from. Additionally, it enables the incorporation of contextual information. Extensive experiments on two very different, publicly available datasets demonstrates that our approach is able to set new state-of-the-art performance benchmarks. Apart from the benefit of using automatic text summarization techniques we also find that the incorporation of contextual information contributes to performance gains.

연구 동기 및 목표

• 가짜 뉴스 탐지에서 BERT의 입력 길이 제한을 초과하는 장문의 뉴스 기사 문제를 해결하기 위해.
• 자동 텍스트 요약 기법이 정보 손실를 줄이고 분류 성능를 향상시킬 수 있는지 조사하기 위해.
• 맥락 정보(예: 소스 URL, 트윗 등)가 가짜 뉴스 탐지 정확도에 미치는 영향을 평가하기 위해.
• 앙상블 BERT 모델을 사용하여 언어에 관계없이 재현 가능하고 일반화 가능한 가짜 뉴스 탐지 프레임워크를 개발하기 위해.
• 다양한 텍스트 표현 방식을 조합하는 것이 개별 접근 방식보다 더 나은 성능을 내는지 탐색하기 위해.

제안 방법

• CMTR-BERT를 제안하며, BERT와 세 가지 텍스트 표현 방식(고계층 트랜스포머, 추출적 요약, 개괄적 요약)을 조합한 앙상블 모델이다.
• 원본 텍스트뿐 아니라 요약된 입력과 맥락화된 입력에 대해서도 BERT 임베딩을 사용하여 의미적 풍부성을 유지한다.
• BERT 기반 추출적 모델을 통해 추출적 요약을 적용하고, 시퀀스 투 시퀀스 모델을 사용하여 개괄적 요약을 수행한다.
• 장문의 시퀀스를 다루기 위해 텍스트를 관리 가능한 세그먼트로 나누는 고계층 입력 표현 방식을 도입한다.
• 소스 URL과 관련된 소셜 미디어 게시물(트윗)과 같은 맥락 특징을 추가 입력 모odal로 통합한다.
• 다양한 텍스트 표현에서 유도된 예측을 조합하여 정확도와 강건성을 향상시키는 앙상블 전략을 적용한다.

실험 결과

연구 질문

• RQ1 자동 텍스트 요약 기법이 장문의 뉴스 기사에서 정보 손실를 효과적으로 줄일 수 있는가?
• RQ2 소스 URL, 트윗 등 맥락 특징의 통합이 가짜 뉴스 탐지 모델의 성능에 어떤 영향을 미치는가?
• RQ3 추출적, 개괄적, 고계층 표현 방식을 조합한 다중 텍스트 표현이 단일 표현 방식보다 더 나은 성능을 내는가?
• RQ4 요약 방법의 선택(추출적 vs. 개괄적)이 모델 성능에 얼마나 큰 영향을 미치는가?
• RQ5 제안된 프레임워크는 다양한 데이터셋과 언어로 일반화 가능한가? 표준 BERT 기반 모델과 비교해보면 어떻게 되는가?

주요 결과

• CMTR-BERT는 CT-FAN 21 데이터셋에서 최신 기술 수준 성능를 달성하며, 표준 BERT 및 기타 베이스라인을 크게 앞서간다.
• 소스 URL, 트윗 등의 맥락 정보 포함 시, Politifact 및 GossipCop 데이터셋 모두에서 통계적으로 유의미한 성능 향상(유의수준 p < 0.01)을 보였다.
• 후행 검정에서 앙상블 모델(CMTR-BERT)은 추출적 또는 개괄적 요약만 사용하는 모델보다 유의미하게 높은 성능를 보였으며, p < 0.01이었다.
• 추출적 요약은 CT-FAN 21에서 성능 향상을 이끌었지만, 개괄적 요약은 데이터셋 전반에 걸쳐 부정적 또는 중립적인 영향을 미쳤다.
• 고계층 입력 표현은 CT-FAN 21에서 유의미한 성능 향상을 보였으며(Z = 46, p < 0.05), 하지만 FakeNewsNet 도메인에서는 그러한 효과가 없었다.
• FakeNewsNet의 한 도메인에서의 미세조정 후 다른 도메인에서 테스트하면 성능이 떨어지며, 이는 맥락 인식 시스템이 콘텐츠 전용 모델보다 더 잘 일반화됨을 시사한다.