[논문 리뷰] YouTube Chatter: Understanding Online Comments Discourse on Misinformative and Political YouTube Videos

Aarash Heydari, Janny Zhang외 3명|arXiv (Cornell University)|2019. 06. 30.

Misinformation and Its Impacts인용 수 6

한 줄 요약

이 연구는 다양한 편향성과 사실 정확도를 가진 채널 간에 댓글 수, 참여도, 언어적 특징을 비교함으로써 정치적 또는 오락성 유튜브 영상에서의 온라인 논의를 분석한다. 연구 결과, 음모론-가짜 과학 채널과 의심스러운 출처 채널은 신뢰할 만한 채널이나 무정치 채널보다 최대 11배 더 많은 뷰당 댓글을 생성하는 것으로 드러났으며, 기계학습 모델을 통해 댓글 통계를 이용해 채널의 편향성을 성공적으로 예측할 수 있었다.

ABSTRACT

We conduct a preliminary analysis of comments on political YouTube content containing misinformation in comparison to comments on trustworthy or apolitical videos, labelling the bias and factual ratings of our channels according to Media Bias Fact Check where applicable. One of our most interesting discoveries is that especially-polarized or misinformative political channels (Left-Bias, Right-Bias, PragerU, Conspiracy-Pseudoscience, and Questionable Source) generate 7.5x more comments per view and 10.42x more replies per view than apolitical or Pro-Science channels; in particular, Conspiracy-Pseudoscience and Questionable Sources generate 8.3x more comments per view and 11.0x more replies per view than apolitical and Pro-Science channels. We also compared average thread lengths, average comment lengths, and profanity rates across channels, and present simple machine learning classifiers for predicting the bias category of a video based on these statistics.

연구 동기 및 목표

• 정치적 편향성 또는 오락성 유튜브 채널과 신뢰할 수 있거나 무정치 채널 간의 온라인 댓글 논의의 차이를 조사하기 위해.
• 다양한 사실 정확도와 편향 등급을 가진 채널 간에 뷰당 참여도 수준—예를 들어 댓글 수와 답글 수—를 정량화하기 위해.
• 다양한 채널 유형 간에 댓글의 언어적 및 구조적 특징—예를 들어 스레드 길이, 댓글 길이, 저속어 비율—를 분석하기 위해.
• 댓글 통계를 기반으로 영상의 편향 유형을 예측하는 기계학습 분류기 개발 및 평가하기 위해.
• 특히 극심한 분열 또는 오락성 콘텐츠에서, 콘텐츠 신뢰성과 청중 참여도 간의 관계를 평가하기 위해.

제안 방법

• 연구는 미디어 편향 사실 확인(Media Bias Fact Check)에서 왼쪽 편향, 오른쪽 편향, 프라저유(PragerU), 음모론-가짜 과학, 의심스러운 출처, 과학 지지, 무정치 채널으로 분류한 채널들로부터 유튜브 영상 댓글을 수집하고 분석하였다.
• 각 채널의 편향성 및 사실 정확도 범주 간 비교를 위해 뷰당 참여도 지표인 댓글 수/뷰 및 답글 수/뷰를 계산하였다.
• 각 채널 유형에 대해 댓글 스레드 내 평균 스레드 길이, 평균 댓글 길이, 저속어 비율을 측정하였다.
• 계산된 댓글 통계를 사용하여 단순 기계학습 분류기를 훈련시켜 영상의 편향 유형을 예측하였다.
• 연구 분석은 32페이지의 그림과 23개의 그림에 기반한 실증 데이터에 의존하였으며, 채널 유형 간 비교 통계에 중점을 두었다.
• 채널 분류의 일관성을 확보하기 위해 유튜브에서 공개된 데이터와 미디어 편향 사실 확인에서 제공한 편향 평가를 사용하였다.

실험 결과

연구 질문

• RQ1 오락성 또는 정치적 유튜브 채널과 무정치 또는 신뢰할 수 있는 채널 간에 뷰당 댓글 및 답글의 양은 어떻게 다를까?
• RQ2 다양한 편향성과 사실 정확도를 가진 채널 간에 댓글 스레드의 구조, 길이, 저속어 비율은 어떻게 다를까?
• RQ3 평균 스레드 길이 및 답글 수와 같은 댓글 통계가 영상의 편향 유형을 예측하는 데 얼마나 유용한가?
• RQ4 음모론-가짜 과학 채널과 의심스러운 출처 채널은 과학 지지 채널 및 무정치 채널에 비해 참여도 지표에서 어떻게 다를까?
• RQ5 극도로 분열적 또는 낮은 사실 정확도를 가진 채널의 영상에서 온라인 논의의 패턴은 어떠한가?

주요 결과

• 음모론-가짜 과학 채널과 의심스러운 출처 채널은 무정치 또는 과학 지지 채널보다 뷰당 8.3배 더 많은 댓글과 11.0배 더 많은 답글을 생성한다.
• 전반적으로 오락성 또는 극심한 분열성 채널(왼쪽 편향, 오른쪽 편향, 프라저유 포함)은 무정치 또는 과학 지지 채널보다 뷰당 7.5배 더 많은 댓글과 10.42배 더 많은 답글을 생성한다.
• 연구는 스레드 길이, 댓글 길이, 답글 수와 같은 댓글 통계를 사용하여 영상의 편향 유형을 예측하는 기계학습 분류기를 성공적으로 훈련시켰다.
• 저속어 비율과 평균 댓글 길이는 채널 유형 간에 유의미하게 다름을 보였으며, 분열적 또는 오락성 콘텐츠에서 더 높은 참여도가 관찰되었다.
• 의심스러운 사실 정확도를 가진 채널에서는 평균 스레드 길이와 답글 수가 상당히 높아, 더 강렬하거나 장기적인 댓글 상호작용이 이루어지고 있음을 시사한다.
• 결과적으로, 극심한 분열성 또는 오락성 잠재력이 있는 콘텐츠는 중립적이거나 과학적으로 정확한 콘텐츠보다 훨씬 더 많은 온라인 논의와 참여도를 유도하는 것으로 나타났다.