[논문 리뷰] DeClarE: Debunking Fake News and False Claims using Evidence-Aware Deep Learning

Kashyap Popat, Subhabrata Mukherjee외 2명|arXiv (Cornell University)|2018. 09. 17.

Misinformation and Its Impacts참고 문헌 35인용 수 31

한 줄 요약

DeClarE는 수작업 특징 추출 없이 외부 증거, 언어 스타일, 소스 신뢰성을 통합하여 자연어 문장의 신뢰성을 평가하는 엔드 투 엔드 신경망 모델이다. 주의 메커니즘을 사용해 이해하기 쉬운 사용자 친화적인 설명을 생성하며, 수작업 특징 없이도 네 가지 기준 데이터셋에서 최신 기술 수준의 성능을 달성한다. 제거 분석을 통해 모델의 강건성과 투명성이 확인되었다.

ABSTRACT

Misinformation such as fake news is one of the big challenges of our society. Research on automated fact-checking has proposed methods based on supervised learning, but these approaches do not consider external evidence apart from labeled training instances. Recent approaches counter this deficit by considering external sources related to a claim. However, these methods require substantial feature modeling and rich lexicons. This paper overcomes these limitations of prior work with an end-to-end model for evidence-aware credibility assessment of arbitrary textual claims, without any human intervention. It presents a neural network model that judiciously aggregates signals from external evidence articles, the language of these articles and the trustworthiness of their sources. It also derives informative features for generating user-comprehensible explanations that makes the neural network predictions transparent to the end-user. Experiments with four datasets and ablation studies show the strength of our method.

연구 동기 및 목표

• 실시간으로 자연어 진술의 신뢰성을 자동으로 평가하여 수작업 특징 공학이나 어휘집에 의존하지 않도록 하는 것.
• 외부 웹 증거, 언어 스타일, 소스 신뢰성을 통합한 유일한 엔드 투 엔드 딥 러닝 프레임워크를 구축하는 것.
• 사용자가 이해할 수 있는 주의 기반 설명을 생성하여 모델 예측의 투명성과 해석 가능성을 높이는 것.
• 이전 방법들이 외부 증거를 忽시하거나 광범위한 특징 모델링을 요구하는 한계를 극복하는 것.
• 최소한의 인간 간섭으로 신경망을 활용해 확장 가능하고 자동으로 위조 뉴스와 잘못된 진술을 검증할 수 있도록 하는 것.

제안 방법

• DeClarE는 웹에서 검색한 외부 증거 기사의 언어를 양방향 LSTM(biLSTM)으로 인코딩한다.
• 단어 임베딩을 사용해 입력 진술의 의미적 맥락을 모델링하고, 이를 증거 기사의 내용과 정렬한다.
• 주요 메커니즘이 진술에 대한 관련성이 높은 단어와 문단을 동적으로 집중하여 증거 기사에서 추출한다.
• 소스 신뢰성을 학습된 소스 임베딩을 통해 모델링하며, 증거 기사의 출처로부터 신뢰성 신호를 포착한다.
• 밀도 있는 레이어를 통해 진술 임베딩, 주의 가중치가 적용된 기사 표현, 소스 임베딩을 통합하여 신뢰성 점수를 예측한다.
• 주의 가중치와 두드러진 단어 특징에서 유래한 해석 가능한 설명을 통해 출력에서 핵심 증거와 추론을 강조한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥 러닝 모델이 수작업 특징이나 어휘집에 의존하지 않고 자연어 진술의 신뢰성을 효과적으로 평가할 수 있는가?
• RQ2 신경망이 외부 증거, 언어 스타일, 소스 신뢰성을 얼마나 잘 통합하여 신뢰성 평가 성능을 향상시킬 수 있는가?
• RQ3 주의 기반 설명 생성이 자동 사실 확인의 투명성과 사용자 신뢰도를 얼마나 향상시키는가?
• RQ4 다양한 진술 유형과 데이터셋에서 DeClarE는 최신 기술 수준의 기준 대비 정확도와 강건성 측면에서 어떻게 비교되는가?
• RQ5 소스 임베딩과 주의 메커니즘이 모델의 해석 가능성과 성능 향상에 어떤 역할을 하는가?

주요 결과

• DeClarE는 네 가지 실세계 데이터셋에서 최신 기술 수준의 성능을 달성하며, 기존 기준 대비 신뢰성 평가 정확도에서 뛰어난 성능을 보였다.
• 제거 분석을 통해 외부 증거, 언어 모델링, 소스 신뢰성의 통합이 모델 성능 향상에 크게 기여하는 것으로 확인되었다.
• 주의 메커니즘이 통계나 진술과 같은 관련 증거 스니펫을 성공적으로 강조하여 인간이 애너테이션한 설명과 일치하였다.
• 소스 임베딩은 학습된 임베딩 공간에서 주류 뉴스 매체와 위조 뉴스 소스를 효과적으로 분리하여 모델이 소스의 신뢰성을 포착할 수 있음을 보여주었다.
• 모델은 유사한 이념을 가진 정치인들을 임베딩 공간에서 가까이 위치시키며 의미적이고 이념적으로 유의미한 관계를 포착하고 있음을 나타냈다.
• DeClarE는 증거 기사에서 'barely true'(거의 참인) 또는 'documenting reports'(보고서를 기록하는)와 같은 두드러진 단어나 어구를 식별함으로써 이해 가능한 설명을 생성하며, 이는 직접적으로 신뢰성 판단에 영향을 주었다.