[논문 리뷰] Community-Based Fact-Checking on Twitter's Birdwatch Platform

Nicolas Pröllochs|arXiv (Cornell University)|2021. 04. 15.

Misinformation and Its Impacts인용 수 6

한 줄 요약

이 연구는 2021년에 출시된 커뮤니티 기반의 사실 확인 플랫폼인 트위터의 띠어치(Birdwatch)를 2021년 시범 단계의 실증 데이터를 바탕으로 분석한다. 연구 결과, 신뢰할 수 있는 출처를 링크하고 긍정적인 감정을 담은 노트는 더 유용하게 인식되지만, 극단화와 의견 추측은 여전히 도전 과제로 남아 있으며, 특히 영향력 있는 사용자의 트윗에서 두드러진다.

ABSTRACT

Misinformation undermines the credibility of social media and poses significant threats to modern societies. As a countermeasure, Twitter has recently introduced "Birdwatch," a community-driven approach to address misinformation on Twitter. On Birdwatch, users can identify tweets they believe are misleading, write notes that provide context to the tweet and rate the quality of other users' notes. In this work, we empirically analyze how users interact with this new feature. For this purpose, we collect {all} Birdwatch notes and ratings between the introduction of the feature in early 2021 and end of July 2021. We then map each Birdwatch note to the fact-checked tweet using Twitter's historical API. In addition, we use text mining methods to extract content characteristics from the text explanations in the Birdwatch notes (e.g., sentiment). Our empirical analysis yields the following main findings: (i) users more frequently file Birdwatch notes for misleading than not misleading tweets. These misleading tweets are primarily reported because of factual errors, lack of important context, or because they treat unverified claims as facts. (ii) Birdwatch notes are more helpful to other users if they link to trustworthy sources and if they embed a more positive sentiment. (iii) The social influence of the author of the source tweet is associated with differences in the level of user consensus. For influential users with many followers, Birdwatch notes yield a lower level of consensus among users and community-created fact checks are more likely to be seen as being incorrect and argumentative. Altogether, our findings can help social media platforms to formulate guidelines for users on how to write more helpful fact checks. At the same time, our analysis suggests that community-based fact-checking faces challenges regarding opinion speculation and polarization among the user base.

연구 동기 및 목표

• 사용자들이 트위터의 띠어치, 즉 오락성 정보를 방지하기 위해 도입된 커뮤니티 기반의 사실 확인 플랫폼과 어떻게 상호작용하는지 이해하기 위해.
• 사용자가 생성한 띠어치 사실 확인 노트의 유용성에 영향을 주는 요인을 조사하기 위해.
• 사용자 영향력과 콘텐츠 특성의 영향을 분석하여 커뮤니티 사실 확인의 공감대 및 품질 평가에 영향을 주는 요소를 조사하기 위해.
• 소셜 미디어에서 커뮤니티 기반 사실 확인의 확장성과 정확성을 향상시키기 위한 설계 및 지침적 함의를 도출하기 위해.
• 높은 시각성 콘텐츠의 커뮤니티 모더레이션에서 극단화와 의견 추측과 같은 도전 과제를 평가하기 위해.

제안 방법

• 트위터의 역사적 API를 사용하여 2021년 초부터 7월 말까지의 모든 띠어치 노트와 평가 데이터를 수집하였다.
• 트위터의 API를 활용하여 각 띠어치 노트를 해당 트윗과 연결하여 맥락과 진술의 진실성을 분석하였다.
• 텍스트 마이닝 기법을 적용하여 노트 설명에서 감성, 길이, 출처 링크 등의 콘텐츠 특성을 추출하였다.
• 통계 모델링을 사용하여 콘텐츠 특성(예: 감성, 출처 품질)과 노트 평가 간의 관계를 평가하였다.
• 사실 확인 결과를 바탕으로 트윗을 오해의 소지가 있는지 여부로 분류하고, 노트 특성의 차이를 분석하였다.
• 원본 트윗의 사회적 영향력(예: 팔로워 수)이 사용자 공감대 및 노트 품질 평가에 미치는 영향을 조사하였다.

실험 결과

연구 질문

• RQ1 사용자들이 띠어치에서 트윗을 신고하는 주요 이유는 무엇인가?
• RQ2 오해의 소지가 있는 트윗과 그렇지 않은 트윗에 대한 띠어치 노트는 감성, 길이, 출처 사용 등의 콘텐츠 특성에서 어떻게 다를까?
• RQ3 원본 트윗의 작성자 사회적 영향력이 공감대 및 노트 품질 인식에 어떤 영향을 미치는가?
• RQ4 어떤 콘텐츠 특성이 커뮤니티가 만든 사실 확인 노트가 더 유용하거나 덜 유용하게 인식되게 하는가?
• RQ5 의견 추측과 극단화는 띠어치에서 커뮤니티 기반 사실 확인의 신뢰성에 어느 정도 영향을 미치는가?

주요 결과

• 사용자들은 오해의 소지가 있는 트윗, 특히 사실 오류, 맥락 부족, 검증되지 않은 주장들을 사실로 취급하는 경우에 대해 띠어치 노트를 제출할 가능성이 높다.
• 신뢰할 수 있는 출처를 링크한 노트는 더 유용하게 평가되며, 이는 출처 신뢰도가 인식된 신뢰성에 기여함을 시사한다.
• 더 긍정적인 감성을 담은 노트는 더 유용하게 인식되지만, 부정적이거나 과도한 감정을 담은 언어는 유용성 인식을 떨어뜨린다.
• 영향력 있는 사용자(예: 정치인)의 트윗에 대한 커뮤니티 기반 사실 확인 노트는 공감대가 낮고, 자주 잘못되거나 논쟁적인 것으로 평가되며, 이는 극단화를 시사한다.
• 전체 문자 제한을 다 쓴 길고 복잡한 노트는 더 유용하게 인식되며, 이는 깊이 있고 철저한 분석이 품질 인식을 향상시킨다는 것을 시사한다.
• 긍정적인 신호가 있음에도 불구하고, 커뮤니티 기반 사실 확인은 여전히 의견 추측과 극단화 문제에 직면해 있으며, 특히 유명 인플루언서의 콘텐츠에서는 더욱 두드러진다. 이는 객관성과 공감대 확보에 위험이 있음을 시사한다.