[논문 리뷰] A Longitudinal Analysis of YouTube's Promotion of Conspiracy Videos

Marc Faddoul, Guillaume Chaslot외 1명|arXiv (Cornell University)|2020. 03. 06.

Misinformation and Its Impacts참고 문헌 13인용 수 64

한 줄 요약

본 논문은 음모 동영상 분류기를 개발하고 1,100개가 넘는 채널에 걸친 YouTube의 watch-next 에뮬레이션을 활용하여 음모성 콘텐츠가 얼마나 자주 노출되는지 정량화하고, 정책에 따른 변화를 추적하며, 장기적인 “필터 버블” 효과를 분석한다.

ABSTRACT

Conspiracy theories have flourished on social media, raising concerns that such content is fueling the spread of disinformation, supporting extremist ideologies, and in some cases, leading to violence. Under increased scrutiny and pressure from legislators and the public, YouTube announced efforts to change their recommendation algorithms so that the most egregious conspiracy videos are demoted and demonetized. To verify this claim, we have developed a classifier for automatically determining if a video is conspiratorial (e.g., the moon landing was faked, the pyramids of Giza were built by aliens, end of the world prophecies, etc.). We coupled this classifier with an emulation of YouTube's watch-next algorithm on more than a thousand popular informational channels to obtain a year-long picture of the videos actively promoted by YouTube. We also obtained trends of the so-called filter-bubble effect for conspiracy theories.

연구 동기 및 목표

• YouTube의 추천 알고리즘이 시간이 지남에 따라 음모성 콘텐츠를 어떻게 홍보하는지 평가한다.
• 음모성 비디오를 감지하기 위해 텍스트 기반 분류기를 개발하고 검증한다.
• YouTube의 watch-next 추천을 에뮬레이션하여 정보 채널에서 음모에의 노출을 정량화한다.
• YouTube 정책 발표가 음모성 추천의 보급에 미치는 영향을 분석한다.
• 음모성 콘텐츠에 대한 필터-버블 효과의 존재와 강도를 조사한다.

제안 방법

• transcript, snippet, comments, 및 Perspective API 특성을 활용한 fastText 기반의 2단계 텍스트-비디오 분류기를 생성한다.
• 첫 번째 계층으로 4개의 모듈(전사, 스니펫, 댓글, Perspective 기반 특성)을 학습시키고 로지스틱 회귀 계층으로 출력을 결합한다.
• Training 세트로 542개의 음모적 비디오와 568개의 비음모적 비디오를 사용하고 1095개의 비디오를 100-fold 교차 검증으로 학습한다.
• Seed 채널 1146개에서 시작해 채널 정리 후 최종 1080개를 대상으로 2018년 10월부터 2020년 2월까지 매일 상위 1000개의 추천 비디오를 수집하는 YouTube의 watch-next 알고리즘을 에뮬레이션한다.
• 분류기를 사용해 비디오를 음모적이라고 라벨링하고 0에서 1까지의 음모 가능도 점수를 계산한다.
• 샘플 밖의 340개 비디오에서 분류기 정확도를 평가하고 임계값 0.5에서 정밀도 및 재현율을 각각 78%와 86%로 보고한다.
• 시간에 따른 원시 및 가중 음모성 추천의 장기 추세를 분석하고, 잠재적 주제를 식별하기 위해 비음수 행렬 분해를 적용한다(주제: 대안 과학 및 역사; 예언과 온라인 교단; 정치 음모).
• 정책 발표를 중심으로 시점 기반 구간을 포함하여 소스 비디오의 음모성 가능성과 추천 음모성 가능도 간의 상관관계를 조사하여 필터-버블 효과를 평가한다.

실험 결과

연구 질문

• RQ1 정보 채널의 추천 중 음모적 비디오의 비율은 얼마이며 시간이 지남에 따라 어떻게 변화하는가?
• RQ2 전사, 제목/설명/태그, 댓글, Perspective API 특징을 사용하여 텍스트 기반 분류기가 음모성 비디오를 신뢰성 있게 탐지할 수 있는가?
• RQ3 유튜브의 발표된 관리 변경이 음모적 추천 비율에 어떤 영향을 미쳤는가?
• RQ4 유튜브 추천에서 음모성 콘텐츠에 대한 측정 가능한 필터-버블 효과가 있으며 그것이 어떻게 진화하는가?
• RQ5 추천에서 음모성 콘텐츠를 지배하는 주제는 무엇이며 이 주제들은 연구 기간 동안 어떻게 변화하는가?

주요 결과

• 음모 분류기가 샘플 외 비디오에서 임계값 0.5에서 정밀도 78%와 재현율 86%를 달성한다.
• 정보 채널의 원시 음모성 추천은 2019년 중반 이전에 약 10% 수준에서 피크를 보였고 가중 추천은 약 6%에서 피크를 보였다.
• YouTube의 2019년 정책 발표 이후 원시 음모성 추천은 2019년 6월경 3%의 최저점으로 감소했고 이후 반등하는 모습을 보였으며, 가중 빈도는 지속적으로 낮은 편이었으나 부분적 회복이 관찰되었다.
• 세 가지 주요 음모 주제가 나타났으며: 대안 과학 및 역사; 예언 및 온라인 컬트; 정치 음모(퀘이온 포함), 주제 분포가 보고되었다(예: 대안 과학 및 역사에서 원시 음모 집합의 51.7%).
• 출처 비디오의 음모적 특성과 그 추천의 음모 가능성 간의 양의 상관관계가 있어 필터-버블 효과를 시사하며, 가장 강한 시점은 2018년 10월~2019년 1월이고 이후에는 약해짐.
• 정책 조치로 채널 수준의 음모성 콘텐츠가 감소하지만, 일부 고유 채널에서 기본 추천에서 벗어나거나 제거되는 현상이 나타나며, 특정 채널의 반등은 부분적인 우회 또는 진화하는 기준을 시사한다.