[논문 리뷰] I Want to Believe: Journalists and Crowdsourced Accuracy Assessments in Twitter.

Cody Buntain, Jennifer Golbeck|arXiv (Cornell University)|2017. 05. 03.

Misinformation and Its Impacts인용 수 5

한 줄 요약

이 논문은 뉴스 기자와 대중 참여자들이 평가한 트위터 뉴스 스토리의 정확성에 대해 비교 분석하며, 두 그룹 모두 통계적으로 유사한 결과를 도출하지만, 기자들은 사실 정확성에 초점을 두고, 대중 참여자들은 인식된 정확성에 초점을 두며, 다른 특징을 사용한다는 점을 밝혀낸다. 대중 참여자 데이터로 학습된 모델은 뉴스 기자 데이터로 학습된 모델보다 고도로 공유된 가짜 뉴스를 탐지하는 데 더 뛰어나다.

ABSTRACT

Evaluating information accuracy in social media is an increasingly important and well-studied area, but limited research has compared journalist-sourced accuracy assessments to their crowdsourced counterparts. This paper demonstrates the differences between these two populations by comparing the features used to predict accuracy assessments in two Twitter data sets: CREDBANK and PHEME. While our findings are consistent with existing results on feature importance, we develop models that outperform past research. We also show limited overlap exists between the features used by journalists and crowdsourced assessors, and the resulting models poorly predict each other but produce statistically correlated results. This correlation suggests crowdsourced workers are assessing a different aspect of these stories than their journalist counterparts, but these two aspects are linked in a significant way. These differences may be explained by contrasting factual with perceived accuracy as assessed by expert journalists and non-experts respectively. Following this outcome, we also show preliminary results that models trained from crowdsourced workers outperform journalist-trained models in identifying highly shared fake news stories.

연구 동기 및 목표

• 트위터 뉴스에 대한 뉴스 기자 기반 평가와 대중 참여자 기반 평가 간의 차이를 조사하기 위해.
• 뉴스 정확성 평가 시 뉴스 기자와 대중 참여자가 사용하는 특징이 겹치는지 또는 다름을 조사하기 위해.
• 각 평가 유형으로 학습된 모델의 가짜 뉴스 식별 능력을 평가하기 위해.
• 인식된 정확성(대중 참여자 기반)과 사실 정확성(뉴스 기자 기반)이 뉴스 평가의 별개이지만 상관관계가 있는 차원인지 탐색하기 위해.

제안 방법

• CREDBANK 및 PHEME라는 두 개의 트위터 데이터셋을 수집하고 분석하였으며, 각각 뉴스 스토리와 정확성 평가가 포함되어 있다.
• 문장, 언어학적, 네트워크 특징을 트윗에서 추출하여 정확성 평가 예측 모델을 학습시켰다.
• 뉴스 기자 기반 평가와 대중 참여자 기반 평가를 각각 레이블로 사용하여 별도의 기계학습 모델을 학습시켰다.
• 두 학습 방식 모두에서 고도로 공유된 가짜 뉴스 스토리를 탐지하는 데 있어 모델 성능을 비교하였다.
• 각 모델이 예측에 어떤 특징에 의존하는지 비교하기 위해 특징 중요도 분석을 수행하였다.
• 뉴스 기자 기반 모델과 대중 참여자 기반 모델의 예측 간 상관관계를 평가하여 평가 기준의 일치 정도를 점검하였다.

실험 결과

연구 질문

• RQ1 뉴스 정확성 평가 시 뉴스 기자와 대중 참여자가 사용하는 특징는 어떻게 다를까?
• RQ2 뉴스 기자 평가 기반 모델이 대중 참여자 평가 결과를 얼마나 잘 예측할 수 있으며, 그 반대의 경우는 어떠한가?
• RQ3 뉴스 기자 기반 모델과 대중 참여자 기반 모델의 예측 간 통계적 상관관계는 무엇이며, 이는 평가 기준의 일치 정도에 대해 어떤 시사점을 갖는가?
• RQ4 대중 참여자 기반 평가 데이터로 학습된 모델이 뉴스 기자 기반 평가 데이터로 학습된 모델보다 고도로 공유된 가짜 뉴스를 탐지하는 데 더 뛰어나게 되는가?
• RQ5 비전문가가 평가한 인식된 정확성과 전문가가 평가한 사실 정확성은 뉴스 평가의 별개이지만 관련된 차원으로 간주될 수 있는가?

주요 결과

• 뉴스 기자 기반 평가와 대중 참여자 기반 평가 간 사용되는 특징 세트는 대부분 겹치지 않으며, 이는 평가 기준이 다름을 시사한다.
• 뉴스 기자 평가 기반 모델은 대중 참여자 평가 결과를 잘 예측하지 못하며, 그 반대의 경우도 마찬가지로 성능이 떨어지지만, 예측 결과는 통계적으로 유사하다.
• 모델 예측 간 상관관계는 평가 과정이 다르지만, 뉴스 스토리의 관련 측면을 평가하고 있음을 시사한다.
• 대중 참여자 기반 모델은 고도로 공유된 가짜 뉴스 스토리를 식별하는 데 뉴스 기자 기반 모델보다 뛰어나며, 이는 바이러스성 확산 가짜 뉴스 탐지에 유리한 점이 있음을 시사한다.
• 특징 사용의 차이가 뉴스 기자들이 사실 정확성에 초점을 두고, 대중 참여자들이 인식된 정확성 또는 히وري스틱 기반 정확성에 초점을 두고 있음을 뒷받침한다.
• 결과적으로, 대중 참여를 통해 캡처된 인식된 정확성은 바이러스성 확산 가짜 뉴스 탐지에 사실 정확성보다 더 효과적인 신호가 될 수 있음을 시사한다.