[논문 리뷰] A Coarse-to-fine Cascaded Evidence-Distillation Neural Network for Explainable Fake News Detection

Zhiwei Yang, Jing Ma외 4명|arXiv (Cornell University)|2022. 09. 29.

Misinformation and Its Impacts인용 수 10

한 줄 요약

이 논문은 원시 보고서에서 직접 가짜 뉴스를 탐지하고 진실성 설명을 생성하는 계층적 증류 신경망인 CofCED를 제안한다—수동적 사실 확인에 의존하지 않고서도 된다. 주장 관련성, 풍부성, 두드러짐, 중복 방지 기능을 활용하여 CofCED는 새로 구축한 두 데이터셋에서 최신 기준보다 뛰어난 성능을 보이며, 높은 정확도의 탐지와 다양한 증거 원천에서 유의미하고 해석 가능한 설명을 제공한다.

ABSTRACT

Existing fake news detection methods aim to classify a piece of news as true or false and provide veracity explanations, achieving remarkable performances. However, they often tailor automated solutions on manual fact-checked reports, suffering from limited news coverage and debunking delays. When a piece of news has not yet been fact-checked or debunked, certain amounts of relevant raw reports are usually disseminated on various media outlets, containing the wisdom of crowds to verify the news claim and explain its verdict. In this paper, we propose a novel Coarse-to-fine Cascaded Evidence-Distillation (CofCED) neural network for explainable fake news detection based on such raw reports, alleviating the dependency on fact-checked ones. Specifically, we first utilize a hierarchical encoder for web text representation, and then develop two cascaded selectors to select the most explainable sentences for verdicts on top of the selected top-K reports in a coarse-to-fine manner. Besides, we construct two explainable fake news datasets, which are publicly available. Experimental results demonstrate that our model significantly outperforms state-of-the-art baselines and generates high-quality explanations from diverse evaluation perspectives.

연구 동기 및 목표

• 기존의 가짜 뉴스 탐지 방법이 수동으로 확인된 사실에 크게 의존하는 점—즉, 커버리지가 제한적이고 지연이 발생한다는 점을 해결하기 위해.
• 원시 미디어 보고서에서의 군중의 지혜를 활용하여 일반화 가능하고 설명 가능한 가짜 뉴스 탐지 프레임워크를 개발하기 위해.
• 주장 관련성, 풍부성, 두드러짐, 중복 방지를 명시적으로 모델링하여 고품질의 의미적으로 일관된 설명을 생성하기 위해.
• 각 뉴스 주장을 위한 원시 보고서를 포함하는 현실적인 공개 데이터셋 두 개—RAWFC와 LIAR-RAW—를 구축하기 위해.
• 원시 보고서에서 증류된 증거가 진실성 예측과 설명 생성 양 측면에서 최신 기준 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 원시 보고서의 웹 텍스트를 표현하기 위해 계층적 인코더를 사용하여 문장 수준와 문서 수준의 의미를 모두 캡처한다.
• 거칠기에서 정밀하게 나아가는 방식으로 두 개의 연결된 선택기 설계: 먼저 검토가치 있는 보고서 상위-K개를 선택하고, 그 다음에 가장 설명력 있는 문장을 증류한다.
• 모델은 주장 관련성(문장이 주장에 얼마나 잘 부합하는지), 풍부성(정보 밀도), 두드러짐(예측에 중요도), 비중복성(문장 간 유일성)이라는 네 가지 의미적 특징을 명시적으로 최적화한다.
• 다중 작업 적응 가중치(MAW) 메커니즘이 예측과 설명 생성 간의 트레이드오프를 동적으로 조정하여 수동 그리드 서치가 필요 없도록 한다.
• 모델은 소프트 임계값 기법(ε)을 사용하여 총 문장 수에 기반해 각 보고서당 관련 문장 수를 자동으로 결정한다.
• 예측 분류와 설명 생성을 동시에 최적화하는 통합 목표함수를 사용해 엔드 투 엔드로 훈련하며, 상호 강화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 사실 확인된 기사에 의존하지 않고 원시 보고서만을 사용하여 신경망이 가짜 뉴스를 효과적으로 탐지하고 정확하고 해석 가능한 설명을 생성할 수 있는가?
• RQ2 주장 관련성, 문장의 풍부성, 두드러짐, 비중복성은 설명 생성을 위한 고품질 증거 문장을 선택하는 데 어떻게 기여하는가?
• RQ3 일단 단계 기반 기준 대비 거칠기에서 정밀하게 나아가는 연결 선택 기법이 설명 품질과 탐지 정확도 향상에 얼마나 기여하는가?
• RQ4 제안된 다중 작업 적응 가중치(MAW) 메커니즘은 고정 또는 그리드 서치된 트레이드오프 전략에 비해 설명과 탐지 성능 균형을 어떻게 더 잘 달성하는가?
• RQ5 모델은 다양한 실제 뉴스 주장에 대해 일반화될 수 있는가? 특히 미세한 수준의 진실성 레이블에서 단어 겹침이 적은 경우에도 성능이 우수한가?

주요 결과

• CofCED는 RAWFC와 LIAR-RAW 데이터셋 양쪽에서 최신 기준 기준보다 뛰어난 성능을 보이며 진실성 예측에서 뛰어난 탐지 성능을 입증했다.
• 모델은 인간 평가에서 더 정확하고 해석 가능한 것으로 평가된 고품질의 의미적으로 일관된 설명을 생성한다.
• 절단 실험 결과, 모든 네 가지 특징—관련성, 풍부성, 두드러짐, 비중복성—이 설명 품질 향상에 기여하며, 특히 비중복성이 낮은 가치의 문장을 걸러내는 데 효과적이라는 점이 확인되었다.
• 다중 작업 적응 가중치(MAW) 메커니즘이 고정 또는 그리드 서치된 가중치보다 뛰어난 성능을 보이며, 수동 튜닝 없이도 설명과 탐지 목표를 일관되게 균형 잡는 데 성공했다.
• 모델은 RAWFC에서는 12개의 보고서, LIAR-RAW에서는 18개의 보고서를 선택할 때 가장 우수한 성능을 보였으며, 이는 최적의 보고서 선택 수가 데이터셋에 따라 다름을 보여주며 보고서 수량에 민감함을 시사한다.
• 사례 연구 결과, 모델의 주의 집중이 거짓 주장을 반박하는 증거 문장과 정확히 일치하며, 특징 점수의 시각화가 분류 결정의 주요 요인을 명확히 드러냈다.