[논문 리뷰] Veracity Computing from Lexical Cues and Perceived Certainty Trends

Uwe D. Reichel, Piroska Lendvai|arXiv (Cornell University)|2016. 11. 08.

Misinformation and Its Impacts참고 문헌 24인용 수 4

한 줄 요약

이 논문은 어휘적 신호와 예측된 확신 추세를 사용하여 소셜 미디어 루머의 진실성 계산을 위한 데이터 기반 방법을 제안한다. 어휘적 신호 비율과 확신의 시계열 패턴을 결합하여 루머를 해결하는 트윗을 식별하고 해결의 진실성을 예측하며, 외부 자원 없이도 해결 탐지에 0.74 F1 점수, 진실성 예측에 0.76 F1 점수를 달성한다.

ABSTRACT

We present a data-driven method for determining the veracity of a set of rumorous claims on social media data. Tweets from different sources pertaining to a rumor are processed on three levels: first, factuality values are assigned to each tweet based on four textual cue categories relevant for our journalism use case; these amalgamate speaker support in terms of polarity and commitment in terms of certainty and speculation. Next, the proportions of these lexical cues are utilized as predictors for tweet certainty in a generalized linear regression model. Subsequently, lexical cue proportions, predicted certainty, as well as their time course characteristics are used to compute veracity for each rumor in terms of the identity of the rumor-resolving tweet and its binary resolution value judgment. The system operates without access to extralinguistic resources. Evaluated on the data portion for which hand-labeled examples were available, it achieves .74 F1-score on identifying rumor resolving tweets and .76 F1-score on predicting if a rumor is resolved as true or false.

연구 동기 및 목표

• 텍스트적 신호와 시간 동적 특성만을 사용하여 소셜 미디어 루머의 진실성을 자동으로 판단하는 것.
• 언어적 및 시간적 특성에 기반해 루머 스레드에서 어떤 트윗이 주장의 해결을 이루는지 식별하는 것.
• 내부 텍스트 및 시간 기반 특성만을 사용하여 루머가 최종적으로 참인지 거짓인지 예측하는 것.
• 외부 메타데이터나 소스 프로파일에 의존하지 않고 어휘적 신호로부터 발화자의 확신 수준을 모델링하는 것.
• 어휘적 신호 비율과 확신의 시간적 변화가 주장 해결 탐지에 미치는 영향을 평가하는 것.

제안 방법

• 지식, 보고, 신념, 의심의 네 가지 어휘적 신호 카테고리가 극성과 책임성에 기반해 트윗의 사실성 값을 할당하는 데 사용된다.
• 일반선형모형(Goal-Linear Models, GLMs)이 이러한 어휘적 신호 비율에서 트윗의 확신 수준을 예측하여 개별 신호의 약한 상관관계 문제를 해결한다.
• 시계열 분석을 통해 어휘적 신호 비율과 예측된 확신에서의 불연속성(예: 리셋, 델타)을 식별하여 해결 지점 탐지에 활용한다.
• 어휘적 신호 비율(CueSet)과 예측된 확신(CertSet)을 조합한 특징 집합을 AdaBoostM1 분류기의 입력으로 사용한다.
• 분류 불균형 문제를 다루기 위해 테스트 세트에 대해 재표본 추출을 포함한 10중 교차검증을 적용한다.
• 시스템은 외부 언어 외 데이터에 접근할 수 없으며, 오직 텍스트적 및 시간적 패턴에만 의존한다.

실험 결과

연구 질문

• RQ1 어휘적 신호 비율과 예측된 확신 수준이 루머를 해결하는 트윗을 신뢰성 있게 식별할 수 있는가?
• RQ2 확인된 사실과 거짓으로 밝혀진 주장 간 어휘적 신호 비율과 확신 수치의 시간적 추세는 어떻게 다를까?
• RQ3 어휘적 신호 비율과 확신 점수의 불연속성은 주장 해결 신호로 얼마나 유의미하게 작용하는가?
• RQ4 예측된 확신을 원시 어휘적 신호 비율과 통합할 경우 해결 값 예측 성능이 향상되는가?
• RQ5 신념과 의심 신호는 루머의 최종 해결 결과와 어떤 관계가 있는가?

주요 결과

• 어휘적 신호 비율(CueSet)을 사용하여 루머 해결 트윗을 식별하는 데 0.74 F1 점수를 달성하였다.
• 예측된 확신 값(CertSet)을 사용하여 루머가 참인지 거짓인지 예측하는 데 0.76 F1 점수를 기록하였다.
• 해결 트윗에서는 지식 및 보고 신호 비율(KCR, RCR)이 유의미하게 증가하며, 사실성 신호 비율(FCR)도 해결 시점에 정점에 도달한다.
• 거짓으로 밝혀진 주장에서는 해결 이후 의심 신호 비율이 더 급격히 증가하는 반면, 확인된 주장에서는 확신 신호 비율이 상승하고, 거짓 주장에서는 감소한다.
• 해결 값과 확신 추세의 상호작용을 분석한 결과, 불연속성의 방향성과 크기는 주장이 최종적으로 참인지 거짓인지에 따라 달라진다.
• 예측된 확신 특징이 원시 어휘적 신호 비율보다 해결 값 예측 성능에서 뛰어나, 희소 데이터에서 중간 단계의 특징 통합이 유의미한 이점을 제공함을 시사한다.