[논문 리뷰] Birdwatch: Crowd Wisdom and Bridging Algorithms can Inform Understanding and Reduce the Spread of Misinformation

Stefan Wojcik, Sophie Hilgard외 6명|arXiv (Cornell University)|2022. 10. 27.

Misinformation and Its Impacts인용 수 34

한 줄 요약

이 논문은 다양한 관점에 걸쳐 정보를 제공하는 crowd-sourced 주석을 선택하는 행렬 분해 기반 브리징 알고리즘을 개발하고, 설문조사와 실제 배치를 통해 이러한 주석이 이해를 개선하고 Twitter에서 잠재적으로 오해를 불러일으키는 게시물의 공유를 줄임을 보인다.

ABSTRACT

We present an approach for selecting objectively informative and subjectively helpful annotations to social media posts. We draw on data from on an online environment where contributors annotate misinformation and simultaneously rate the contributions of others. Our algorithm uses a matrix-factorization (MF) based approach to identify annotations that appeal broadly across heterogeneous user groups - sometimes referred to as "bridging-based ranking." We pair these data with a survey experiment in which individuals are randomly assigned to see annotations to posts. We find that annotations selected by the algorithm improve key indicators compared with overall average and crowd-generated baselines. Further, when deployed on Twitter, people who saw annotations selected through this bridging-based approach were significantly less likely to reshare social media posts than those who did not see the annotations.

연구 동기 및 목표

• 소셜 미디어에서의 오정보를 대항하기 위해 고품질의 넓게 정보를 제공하는 크라우드 주석의 필요성을 동기 부여한다.
• 다양한 사용자 관점에 호소하는 주석을 식별하기 위해 MF 기반 브리징 알고리즘을 개발한다.
• 알고리즘으로 선택된 주석이 정보성 및 유익함 인지에 얼마나 영향을 미치는지 평가한다.
• 주석이 달린 게시물이 실제 Twitter 배포에서 사용자의 공유 행동에 미치는 영향을 평가한다.

제안 방법

• Birdwatch 데이터로부터 r_un이 {0,1,null}인 희소 평가자-주_note 행렬을 구성한다.
• 행렬을 분해하여 사용자 및 주_note 잠재 벡터 f_u와 f_n, 더불어 인터셉트 μ, i_u, i_n을 학습한다.
• 인터셉트에 강한 정규화를 적용해 매개변수를 학습하는 규제 최소제곱 objective를 사용하여 호소의 폭을 강조한다.
• 주_note 인터셉트 i_n 임계값(≥0.40, ≤-0.08, 그 외)으로 주석을 '도움이 됨', '도움이 되지 않음', '더 많은 평가 필요'로 라벨링한다.
• 저품질 평가자를 제거하기 위한 평가자 유용성 필터를 구현한 후 MF를 재실행하고 최종 라벨링을 수행한다.
• 주-note를 무작위 노출로 세 가지 설문 웨이브를 사용하여 정보성 및 유용성을 측정하고, baselines(평균 주석, 초다수)와 비교한다.

실험 결과

연구 질문

• RQ1 RQ1: 알고리즘으로 선택된 Birdwatch 주 notes가 다양한 정치적 관점에서 이해를 돕고 초다수 기반 대비 넓게 유익한가?
• RQ2 RQ2: Twitter의 주장 정확도 평가에 대한 평가는 Tweet의 주장에 대한 합의의 신뢰 가능한 지표인가?
• RQ3 RQ3: 크라우드가 생성한 주석이 Twitter에서 잠재적으로 오정보의 확산을 감소시키는가?

주요 결과

• 브리지 기반 MF 알고리즘으로 선택된 주 notes는 다양한 정치적 관점에서 도움이 되는 것으로 인지된다.
• 알고리즘으로 선택된 주 notes는 전반적 평균 및 크라우드 기준선에 비해 잠재적으로 오해를 일으키는 트윗에 대한 정보성을 향상시킨다.
• 알고리즘으로 선택된 주석에 노출된 경우 사용자가 주석이 달린 게시물을 재공유하거나 좋아요를 누를 가능성이 낮아진다.
• 설문 기반 증거는 정보성 주석에 노출되었을 때 독자의 이해에 대한 인과 관계 평가와 일치한다.
• 브리지 기반 채점 방식은 넓게 정보를 제공하는 크라우드 주석을 식별하고 실제 배포에서 공유 행동을 감소시킬 수 있음을 시사한다.