[논문 리뷰] Neural Network Architecture for Credibility Assessment of Textual Claims

Nurendra Choudhary, Rajat Singh외 2명|arXiv (Cornell University)|2018. 03. 28.

Misinformation and Its ImpactsSocial Sciences인용 수 18

한 줄 요약

이 논문은 이중 방향 LSTM과 시ames 네트워크를 통해 신뢰할 수 있는 문서와의 의미적 유사성, 소스 및 저자 신뢰성, 감성 분석을 통합함으로써 텍스트적 진술의 신뢰성을 평가하는 신경망 아키텍처인 CREDO를 제안한다. Snopes 데이터셋에서 CREDO는 최신 기술을 초월하며, 의미적 유사성 모듈이 가장 영향력 있는 성능 기여 요소로 작용하여 제거 시 정확도가 32.7% 감소함을 보였다.

ABSTRACT

Text articles with false claims, especially news, have recently become aggravating for the Internet users. These articles are in wide circulation and readers face difficulty discerning fact from fiction. Previous work on credibility assessment has focused on factual analysis and linguistic features. The task's main challenge is the distinction between the features of true and false articles. In this paper, we propose a novel approach called Credibility Outcome (CREDO) which aims at scoring the credibility of an article in an open domain setting. CREDO consists of different modules for capturing various features responsible for the credibility of an article. These features includes credibility of the article's source and author, semantic similarity between the article and related credible articles retrieved from a knowledge base, and sentiments conveyed by the article. A neural network architecture learns the contribution of each of these modules to the overall credibility of an article. Experiments on Snopes dataset reveals that CREDO outperforms the state-of-the-art approaches based on linguistic features.

연구 동기 및 목표

• 뉴스 및 온라인 콘텐츠에서의 가짜 정보 확산 문제를 해결하기 위해 자동화된 신뢰성 평가 시스템을 개발하고자 한다.
• 언어적 특징에만 의존하는 기존 접근 방식을 개선하기 위해 외부 지식과 다중 소스 신뢰성 신호를 통합하고자 한다.
• 다양한 신뢰성 지표를 통합하여 통합된 신뢰성 점수를 생성하는 모듈식 신경망 아키텍처를 설계하고자 한다.
• 각 구성 요소(의미적 유사성, 감성, 저자/소스 신뢰성)가 전체 신뢰성 평가에 기여하는 상대적 기여도를 평가하고자 한다.

제안 방법

• 지식 기반(예: 위키백과, 뉴스 사이트)에서 관련 문서를 검색하기 위해 关련 키워드 추출을 수행한다.
• 입력 기사와 검색된 신뢰할 수 있는 문서 간의 의미적 유사성을 학습하기 위해 이중 방향 LSTM과 시ames 네트워크 아키텍처를 사용한다.
• 저자 신뢰도 점수(ACS)와 웹사이트 신뢰도 점수(WTS)를 특징으로 통합하여 소스 신뢰성 평가에 활용한다.
• 기사의 중립성 평가를 위해 사전 학습된 감성 분석 도구를 적용한다. 사실 기반 콘텐츠는 일반적으로 중립적 성향을 띤다.
• 모든 모듈의 출력을 통합하여 유일한 신경망 분류기(SVM-RBF 또는 MLP-NN)를 구성하여 최종 신뢰성 점수를 예측한다.
• Snopes 데이터셋에서 5겹 교차 검증을 수행하고 정확도, F1 점수, 피어슨 상관계수를 성능 측정 지표로 사용한다.

실험 결과

연구 질문

• RQ1 외부 지식 기반 데이터베이스와의 의미적 유사성 통합이 언어적 특징에만 의존하는 모델 대비 신뢰성 평가에 어떻게 기여하는가?
• RQ2 각 구성 요소(의미적 유사성, 감성, 저자/소스 신뢰성)가 전체 신뢰성 예측에 기여하는 상대적 기여도는 어떠한가?
• RQ3 다양한 유형의 신뢰성 신호를 효과적으로 통합하여 강력하고 일반화 가능한 모델을 설계할 수 있는가?
• RQ4 이러한 특징 집합을 사용할 때, 다양한 분류기(SVM-RBF, MLP-NN 등)는 신뢰성 분류 작업에서 어떻게 성능을 내는가?

주요 결과

• CREDO는 Snopes 데이터셋에서 모든 평가 지표에서 최신 기술을 초월하며, 개방형 도메인 신뢰성 평가에서 뛰어난 일반화 능력을 입증하였다.
• 의미적 유사성 모듈을 제거했을 경우 정확도가 32.7% 감소하여, 이 모듈이 시스템에서 가장 핵심적인 구성 요소임을 입증하였다.
• 감성 분석 모듈은 정확도를 7.1% 향상시켜 측정 가능한 기여도를 보였지만, 의미적 유사성 대비 보조적 역할임을 시사하였다.
• 저자 신뢰도 점수(ACS)와 웹사이트 신뢰도 점수(WTS)는 각각 약 1%의 정확도 향상 기여를 하여, 독립적으로는 제한된 영향을 미침을 시사하였다.
• RBF 커널을 사용한 SVM과 다층 퍼셉트론(MLP-NN) 분류기가 최고의 성능을 기록하여, 이 작업에 비선형 결정 경계가 필수적임을 입증하였다.
• 의미적 유사성 모듈은 SemEval-STS 2016 벤치마크에서 뛰어난 성능을 기록하여, 기사 간 의미적 관련성 측정에 효과적임을 확인하였다.