[논문 리뷰] Tiplines to Combat Misinformation on Encrypted Platforms: A Case Study of the 2019 Indian Election on WhatsApp

Ashkan Kazemi, Kiran Garimella외 3명|arXiv (Cornell University)|2021. 06. 08.

Misinformation and Its Impacts참고 문헌 24인용 수 4

한 줄 요약

이 연구는 2019년 인도 선거 기간 동안 엔드 투 엔드 암호화된 플랫폼인 WhatsApp와 같은 곳에서 가짜 정보를 확인하기 위한 공동체 기반 티플라인의 효과를 평가한다. CheckPoint 티플라인에 제출된 내용을 공개된 WhatsApp 그룹과 ShareChat의 콘텐츠와 비교함으로써, 티플라인이 바이러스성 콘텐츠의 상당 부분을 포착함을 발견했다—인기 있는 이미지의 67%와 인기 있는 텍스트 메시지의 23%를 차지하며, 일반적으로 널리 퍼지기 전에 포착함으로써 가짜 정보 탐지의 조기 경고 시스템으로서의 효과성을 입증한다.

ABSTRACT

There is currently no easy way to fact-check content on WhatsApp and other end-to-end encrypted platforms at scale. In this paper, we analyze the usefulness of a crowd-sourced "tipline" through which users can submit content ("tips") that they want fact-checked. We compare the tips sent to a WhatsApp tipline run during the 2019 Indian national elections with the messages circulating in large, public groups on WhatsApp and other social media platforms during the same period. We find that tiplines are a very useful lens into WhatsApp conversations: a significant fraction of messages and images sent to the tipline match with the content being shared on public WhatsApp groups and other social media. Our analysis also shows that tiplines cover the most popular content well, and a majority of such content is often shared to the tipline before appearing in large, public WhatsApp groups. Overall, our findings suggest tiplines can be an effective source for discovering content to fact-check.

연구 동기 및 목표

• 엔드 투 엔드 암호화된 플랫폼인 WhatsApp와 같은 곳에서 가짜 정보를 탐지하기 위한 효과적이고 개인정보 보호를 고려한 공동체 기반 티플라인이 가능한지 조사하기 위해.
• 2019년 인도 총선과 같은 고위험 정치 이벤트 기간 동안 티플라인에 제출된 콘텐츠의 성격과 범위를 이해하기 위해.
• 티플라인 제출 내용이 공개된 WhatsApp 그룹과 다른 소셜 미디어 플랫폼(예: ShareChat)에서 유통되는 콘텐츠와 비교하여 그 대표성 여부를 평가하기 위해.
• 기존의 오픈 소셜 미디어 신호에 의존하는 전통적 팩트체크 조직과 비교해 티플라인이 바이러스성 가짜 정보를 얼마나 잘 탐지하는지 평가하기 위해.
• 티플라인이 공개적으로 퍼지기 전에 암호화된 플랫폼에서 가짜 정보를 규범적으로 탐지하고 우선순위를 정하는 데 있어 확장 가능하고 조기 경고 시스템으로서의 가능성을 실증적으로 제시하기 위해.

제안 방법

• 2019년 인도 선거 기간 동안 CheckPoint 티플라인에 제출된 88,662건의 텍스트 메시지, 48,978장의 이미지, 10,198개의 링크를 수집하였다.
• 인도에서 정치를 다루는 5,000개의 공개 WhatsApp 그룹에서 데이터를 크롤링하여 668,829건의 텍스트 메시지와 130만 장의 이미지를 수집하였다.
• ShareChat에서 정치 콘텐츠를 확보하였으며, 인기 지표(좋아요/공유 수)가 부여된 120만 장의 이미지를 포함하여 바이러스성 콘텐츠를 식별하였다.
• 영어로 3,224편, 히нд어로 2,220편의 팩트체크 기사와 이 기사들에 연결된 811개의 원본 트윗을 수집하였다.
• 티플라인, 공개된 WhatsApp 그룹, ShareChat, 팩트체크 자료 간의 콘텐츠를 비교하기 위해 최신 기술인 텍스트 및 이미지 매칭 기법을 사용하였다.
• 콘텐츠 유포의 시간 순서를 분석하여, 티플라인 제출이 다른 플랫폼에서의 공개 유포 이전인지 이후인지 측정하였다.

실험 결과

연구 질문

• RQ1 WhatsApp과 같은 암호화된 소셜 미디어 플랫폼에서 팩트체크를 위한 티플라인은 얼마나 효과적인가?
• RQ2 주요 정치 이벤트 기간 동안 가짜 정보 티플라인에 가장 자주 제출되는 콘텐츠 유형은 무엇인가?
• RQ3 티플라인의 콘텐츠는 공개된 WhatsApp 그룹과 다른 소셜 미디어 플랫폼에서 유통되는 콘텐츠와 비교해 어떤가? (커버리지 및 시기 측면에서)
• RQ4 티플라인이 가짜 정보가 널리 퍼지기 전에 가장 바이러스성 있는 가짜 정보를 얼마나 잘 포착하는가?
• RQ5 전통적인 팩트체크 조직이 트위터나 페이스북과 같은 오픈 플랫폼에 의존하는 것과 비교해 티플라인의 커버리지는 어떻게 되는가?

주요 결과

• 2019년 인도 선거 기간 동안 공개된 WhatsApp 그룹에서 가장 인기 있었던 이미지의 67%가 WhatsApp 티플라인에 제출된 바 있었다.
• 공개된 WhatsApp 그룹에서 가장 인기 있었던 텍스트 메시지의 23%가 티플라인에 제출되어, 바이러스성 텍스트 콘텐츠에 대한 강력한 커버리지를 보여주었다.
• 이미지 및 텍스트 양쪽에서 바이러스성 콘텐츠의 다수는 큰 공개 WhatsApp 그룹에 등장하기 이전에 티플라인에 제출되어, 티플라인이 조기 탐지 기제로 작용할 수 있음을 시사한다.
• 전통적 팩트체크 조직이 일반적으로 오픈 플랫폼인 트위터나 페이스북의 신호에 의존하는 것과 비교해, 티플라인이 WhatsApp 공개 그룹의 콘텐츠를 훨씬 더 광범위하게 커버하고 있었다.
• 티플라인이 WhatsApp의 암호화된 생태계에 속한 콘텐츠를 포착하여, 오픈 플랫폼 기반 팩트체크 노력보다도 비공개 및 반공개 그룹에서 유통되는 가짜 정보의 더 대표성 있는 샘플을 제공하였다.
• 본 연구는 티플라인이 암호화된 플랫폼에서 대규모로 가짜 정보를 식별하고 우선순위를 정하는 데 있어 실현 가능하고 개인정보 보호를 고려한 방법임을 입증한다.