[논문 리뷰] Reliability of Content and Echo Chambers on YouTube during the COVID-19 Debate

Niccolò Di Marco, Matteo Cinelli외 1명|arXiv (Cornell University)|2021. 06. 16.

Misinformation and Its Impacts인용 수 6

한 줄 요약

이 연구는 코로나19 패an드믹 기간 동안 유튜브에서의 사용자 참여를 분석하여, 68개 뉴스 채널의 데이터를 활용해 정보 이론을 적용함으로써 사용자가 정치적 편향과 콘텐츠 신뢰성에 기반해 에코 채터를 형성하는 것을 입증한다. 결과는 사용자 상호작용에서 비랜덤 클러스터링이 존재함을 보여주며, 실제 네트워크의 연합 엔트로피가 무작위 대조군보다 높아, 정치적 및 사실적 차원에서 지속적인 에코 채터의 존재를 확인한다.

ABSTRACT

The spread of inaccurate and misleading information may alter behaviours and complicate crisis management, especially during an emergency like the COVID-19 pandemic. This paper aims to investigate information diffusion during the COVID-19 pandemic by evaluating news consumption on YouTube. First, we analyse more than 2 million users' engagement with 13,000 videos released by 68 YouTube channels, labelled with a political bias and fact-checking index. Then, we study the relationship between each userÕs political preference and their consumption of questionable (i.e., poorly fact-checked) and reliable information. Our results, quantified using measures from information theory, provide evidence for the existence of echo chambers across two dimensions represented by political bias and the trustworthiness of information channels. We observe that the echo chamber structure cannot be reproduced after properly randomising the users' interaction patterns. Moreover, we observe a relation between the political bias of users and their tendency to consume highly questionable news.

연구 동기 및 목표

• 코로나19 패안드믹 기간 동안 정치적 편향과 콘텐츠 신뢰성이 유튜브에서의 정보 확산에 어떻게 영향을 미치는지 조사하기 위해.
• 사용자 참여 패턴에서 정치적 및 사실적 차원에서 에코 채터가 존재하는지 확인하기 위해.
• 정보 이론적 측도를 사용하여 사용자 상호작용의 비랜덤 구조를 정량화하기 위해.
• 실제 네트워크와 무작위 대조군을 비교하여 관측된 에코 채터 효과가 통계적으로 유의미한지 평가하기 위해.

제안 방법

• 2019년 12월부터 2020년 9월까지 68개 유튜브 뉴스 채널에서 발표한 12,933개 영상에서 1090만 개의 댓글을 수집하였다.
• 정량적 값이 -1(극좌파)에서 1(극우파)로 변동하는 정치적 편향과 0(매우 낮음)에서 1(매우 높음)으로 변동하는 사실성 보고 점수를 사용하여, 미디어 비어스 팩트 체크(MBFC) 평가를 기반으로 채널에 정치적 편향과 사실성 점수를 할당하였다.
• 사용자-영상 공동 댓글 네트워크를 구축하여 사용자 참여 패턴을 모델링하였다.
• Maslov-Sneppen 알고리즘을 적용하여 원래의 차수 분포를 유지하면서 네트워크의 링크를 무작위화함으로써 실제 네트워크와의 비교를 가능하게 하였다.
• 사용자 상호작용 패턴의 불확실성과 구조를 측정하기 위해 정치적 편향과 콘텐츠 신뢰성 분포의 연합 엔트로피를 계산하였다.
• 그리드 기반 양자화(해상도 0.01)를 사용하고, 이론적 최대값으로 정규화된 엔트로피 값을 활용하여 실제 네트워크와 무작위 네트워크 간의 비교를 수행하였다.

실험 결과

연구 질문

• RQ1 코로나19 패안드믹 기간 동안 정치적 편향과 콘텐츠 신뢰성에 기반해 유튜브에서 에코 채터가 존재하는가?
• RQ2 관측된 에코 채터 구조는 통계적으로 비랜덤한가, 아니면 무작위 사용자 상호작용 패턴에서 유래한 것인가?
• RQ3 실제 네트워크와 무작위 네트워크 간에 사용자 참여에서 정치적 편향과 사실성 보고의 연합 분포는 어떻게 비교되는가?
• RQ4 사용자의 정치적 성향이 의심스러운(낮은 사실성 체크) 콘텐츠 소비와 얼마나 관련이 있는가?
• RQ5 사용자 상호작용 패턴에서의 불확실성 정보 이론적 측도(연합 엔트로피)는 무엇이며, 실제 네트워크와 무작위 네트워크 간에 어떻게 다를까?

주요 결과

• Maslov-Sneppen 무작위화가 정치적 편향과 콘텐츠 신뢰성에서 관측된 클러스터링을 재현하지 못함으로써, 사용자 참여에서의 에코 채터 구조가 비랜덤함을 확인하였다.
• 정치적 편향의 경우, 실제 네트워크에서 연합 엔트로피는 0.3863이었고, 무작위 버전에서는 0.3338이었으며, 이는 실제 데이터에서 더 높은 불확실성과 더 구조화된 클러스터링을 의미한다.
• 콘텐츠 지속성(신뢰성)의 경우, 실제 네트워크에서 연합 엔트로피는 0.4297이었고, 무작위 버전에서는 0.3338이었으며, 실제 사용자 행동에서 더 강한 구조적 패턴이 있음을 보여준다.
• 극단적인 정치적 성향을 가진 사용자들은 사실성 보고 점수가 낮은 채널의 콘텐츠를 소비할 가능성이 유의미하게 높아, 정치적 편향과 콘텐츠 신뢰성 간의 일치를 보여준다.
• 정치적 및 사실적 차원에서 지속적인 에코 채터는 알고리즘 쿠리에이션과 사용자 선호가 유튜브에서 이데올로기적 및 인지적 분리 현상을 강화함을 시사한다.
• 결과는 코로나19와 같은 위기 상황에서 유튜브의 정보 생태계가 무작위가 아니라 체계적으로 구조화되어 있음을 시사하며, 공중보건 커뮤니케이션과 미디어 리터러시에 영향을 미친다.