[논문 리뷰] Did the Roll-Out of Community Notes Reduce Engagement With Misinformation on X/Twitter?

Yuwei Chuai, Haoye Tian외 2명|arXiv (Cornell University)|2023. 07. 16.

Misinformation and Its Impacts참고 문헌 54인용 수 7

한 줄 요약

이 대규모 실증 연구는 X/Twitter의 커뮤니티 노트—공동으로 사실 확인하는 기능—가 위성 정보 확산을 줄였는지 평가한다. 2021년 이후의 사실 확인 및 원본 트윗 데이터를 포함하는 종합적인 데이터셋을 바탕으로 차이의 차이(DiD) 및 회귀 중단 설계(RDD)를 사용한 결과, 오해의 소재가 되는 콘텐츠에 대한 재트윗이나 좋아요 수에 유의미한 감소가 없음을 확인하여, 커뮤니티 노트가 초기 유행 확산에 영향을 주기에는 너무 느리다는 것을 시사한다.

ABSTRACT

Developing interventions that successfully reduce engagement with misinformation on social media is challenging. One intervention that has recently gained great attention is X/Twitter's Community Notes (previously known as "Birdwatch"). Community Notes is a crowdsourced fact-checking approach that allows users to write textual notes to inform others about potentially misleading posts on X/Twitter. Yet, empirical evidence regarding its effectiveness in reducing engagement with misinformation on social media is missing. In this paper, we perform a large-scale empirical study to analyze whether the introduction of the Community Notes feature and its roll-out to users in the U.S. and around the world have reduced engagement with misinformation on X/Twitter in terms of retweet volume and likes. We employ Difference-in-Differences (DiD) models and Regression Discontinuity Design (RDD) to analyze a comprehensive dataset consisting of all fact-checking notes and corresponding source tweets since the launch of Community Notes in early 2021. Although we observe a significant increase in the volume of fact-checks carried out via Community Notes, particularly for tweets from verified users with many followers, we find no evidence that the introduction of Community Notes significantly reduced engagement with misleading tweets on X/Twitter. Rather, our findings suggest that Community Notes might be too slow to effectively reduce engagement with misinformation in the early (and most viral) stage of diffusion. Our work emphasizes the importance of evaluating fact-checking interventions in the field and offers important implications to enhance crowdsourced fact-checking strategies on social media.

연구 동기 및 목표

• X/Twitter의 커뮤니티 노트 도입이 위성 정보에 대한 사용자 참여도를 감소시켰는지 평가하기.
• 실제 소셜 미디어 환경에서 공동으로 사실 확인하는 기능의 효과성 평가하기.
• 커뮤니티 노트가 오해의 소재가 되는 콘텐츠에 대한 재트윗 및 좋아요와 같은 참여 지표에 영향을 미치는지 확인하기.
• 위성 정보 유포 속도와 관련하여 사실 확인 개입의 시간적 역학 분석하기.
• 소셜 미디어 플랫폼의 콘텐츠 모더레이션 전략을 향상시키기 위한 근거 기반 통찰 제공하기.

제안 방법

• 다양한 사용자 집단 간 커뮤니티 노트 도입 전후의 참여 추세를 비교하기 위해 차이의 차이(DiD) 모델을 활용.
• 노트 게시 시점을 컷오프로 삼아 커뮤니티 노트의 인과적 영향을 분석하기 위해 회귀 중단 설계(RDD)를 적용.
• 2021년 초부터 모든 커뮤니티 노트 및 관련 원본 트윗을 포함하는 종합적인 데이터셋을 사용하여 영어 콘텐츠에 집중.
• 비교 분석을 위해 원본 트윗을 그룹으로 분류: F-CRH(오해의 소재로 확인됨), F-NCRH(도움이 되지 않음으로 평가됨), T-NMR(오해의 소재가 아닌 참고 트윗).
• 비교 가능성을 높이기 위해 성향 스코어 매칭을 사용해 제어군을 필터링.
• 공개된 API 데이터에 기반하여 집계된 참여 지표(재트윗 및 좋아요)를 결과 변수로 분석.

실험 결과

연구 질문

• RQ1 커뮤니티 노트의 도입 및 시행이 X/Twitter에서 오해의 소재가 되는 트윗에 대한 참여도를 유의미하게 감소시키는가?
• RQ2 커뮤니티 노트 게시 시점이 위성 정보의 초기 단계 참여도 감소 능력에 어떤 영향을 미치는가?
• RQ3 검증된 사용자 등 고팔로워 수를 가진 사용자 유형 간 커뮤니티 노트의 효과성에 차이가 있는가?
• RQ4 커뮤니티 노트를 통해 게시된 사실 확인은 오해의 소재가 아닌 콘텐츠와 비교해 사용자 행동에 어떤 영향을 미치는가?
• RQ5 커뮤니티 노트의 반응 시간은 위성 정보 유포 속도와 비교해 사용자 참여도 형성에 어떤 영향을 미치는가?

주요 결과

• 특히 고팔로워를 보유한 검증된 사용자들로부터의 사실 확인 수가 크게 증가했음에도 불구하고, 오해의 소재가 되는 콘텐츠에 대한 재트윗이나 좋아요 수에 통계적으로 유의미한 감소가 없었다.
• 연구 결과, 커뮤니티 노트가 위성 정보가 가장 빠르게 퍼지는 초기 단계 동안 오해의 소재에 대한 참여도를 줄이지 못했음을 시사하며, 개입에 있어 중요한 지연이 있음을 시사한다.
• 오해의 소재가 되는 트윗 게시 후 커뮤니티 노트가 나타나는 평균 시간은 피크 참여도에 영향을 주기에는 너무 길었다.
• 고성과 콘텐츠에 대해 사실 확인이 더 자주 적용되었지만, 이는 사용자 참여도의 측정 가능한 감소로 이어지지 않았다.
• 커뮤니티 노트의 효과는 빠른 위성 정보 유포 속도를 상쇄하지 못하는 느린 반응 시간으로 인해 제한되었다.
• 사용 불가능한 트윗(사실 확인 콘텐츠의 14%)을 제외한 것은 기능의 잠재적 영향을 과소 평가할 수 있었지만, 이는 전체적인 근본적인 결과에 영향을 주지 않았다.