[논문 리뷰] Understanding YouTube Communities via Subscription-based Channel Embeddings

Sam Clark, Anna Zaitsev|arXiv (Cornell University)|2020. 10. 19.

Hate Speech and Cyberbullying Detection참고 문헌 17인용 수 7

한 줄 요약

이 논문은 댓글 작성자의 구독 정보를 활용한 자기지도 학습 방법을 제안하여 유튜브 채널을 탐색하고 분류함으로써 사회정치적 커뮤니티의 대규모 분석을 가능하게 한다. 정치 성향 예측 정확도가 83.8%에 달하여 이전 모델을 능가하며, 기존에 분석되지 않은 7,224개의 채널을 밝혀내어 '음모론'과 '편향된 오른쪽' 콘텐츠가 인기 채널에 집중된 연구에서 상당히 부족하게 다뤄지고 있음을 드러냈다.

ABSTRACT

YouTube is an important source of news and entertainment worldwide, but the scale makes it challenging to study the ideas and topics being discussed on the platform. This paper presents new methods to discover and classify YouTube channels which enable the analysis of communities and categories on the platform using orders of magnitude more channels than have been used in previous studies. Instead of using channel and video data as features for classification as other researchers have, these methods use a self-supervised learning approach that leverages the public subscription pages of commenters. We test the classification method on the task of predicting the political lean of YouTube news channels and find that it outperforms the previous best model on the task. Further experiments also show that there are important advantages to using commenter subscriptions to discover channels. The subscription data, along with an iterative approach, is applied to discover, to our current understanding, the most comprehensive set of English language socio-political YouTube channels yet to be analyzed. We experiment with predicting more fine grained political tags for channels using a previously annotated dataset and find that our model performs better than the average individual human reviewer for most of the top tags. This fine grained political tag model is then applied to the newly discovered English language socio-political channels to create a new dataset to analyze the amount of traffic going to different political content. The data shows that some tags, such as "Partisan Right" and "Conspiracy", are significantly under represented when looking only at the most popular socio-political channels. Through the use of our methods, we are able to get a much more accurate picture of the size of these communities on YouTube.

연구 동기 및 목표

• 기존 연구가 인기 유튜브 채널에만 집중함으로써 소규모 전문화된 커뮤니티의 중요한 트래픽를 놓치는 한계를 해결하기 위해.
• 가장 많은 구독자를 확보한 채널을 초월해 사회정치적 유튜브 채널을 탐색하고 분류할 수 있는 확장 가능한 방법을 개발하기 위해.
• 댓글 작성자의 구독 데이터에서 유도된 자기지도 학습 임베딩을 활용해 정치적 채널 분류 정확도를 향상시키기 위해.
• 기존 데이터셋의 커버리지 수준을 측정하고, 높은 구독자 수를 가진 채널에만 집중할 경우 어떤 정치 콘텐츠 유형이 상당히 부족하게 다뤄지는지 입증하기 위해.
• 더 정확한 커뮤니티 수준 분석을 위해 영어로 된 사회정치적 채널에 대한 새로운 종합 데이터셋을 구축하기 위해.

제안 방법

• 공개된 댓글 작성자의 구독 페이지를 활용해 자기지도 학습 기반 접근법을 통해 채널 임베딩을 생성하며, 각 댓글 작성자의 구독 목록을 학습 신호로 간주한다.
• Recfluence 데이터셋에서 제공하는 레이블 데이터를 활용해 채널 임베딩에 k-최근접 이웃(k-NN) 분류기를 적용하여 정치적 및 이념적 태그를 예측한다.
• 기존 데이터셋의 기준을 충족하는 채널을 식별하기 위해 댓글 구독 패턴을 분석하는 반복적 탐색 방법을 적용한다.
• 보류 기반 커버리지 추정 기법을 사용해 발견된 데이터셋이 사회정치적 채널의 몇 퍼센트를 포함하는지 측정한다.
• 발견된 채널을 원본 Recfluence 데이터셋과 융합하여 트래픽 분석을 위한 종합적인 사회정치적 채널 데이터셋을 구축한다.
• 영상 텍스트 및 오디오 신호를 사용하는 기존 기계학습 모델과 비교하기 위해 공통 테스트 세트를 활용해 성능을 검증한다.

실험 결과

연구 질문

• RQ1 제안된 방법이 가장 인기 있는 채널을 초월해 사회정치적 유튜브 채널을 얼마나 효과적으로 탐색하는가?
• RQ2 댓글 작성자의 구독 데이터에서 유도된 채널 임베딩이 인간 평가자와 비교해 정치적 및 이념적 태그를 얼마나 정확하게 예측할 수 있는가?
• RQ3 영상 텍스트 및 오디오 신호를 사용하는 기존 기계학습 모델과 비교해 제안된 방법의 성능은 어떠한가?
• RQ4 기존 데이터셋에서 사회정치적 콘텐츠의 실제 커버리지는 어느 정도이며, 높은 구독자 수를 가진 채널에만 집중할 경우 얼마나 많은 콘텐츠가 누락되는가?
• RQ5 '헤드 채널'(상위 257개)과 사회정치적 채널 전체 집합 간 트래픽 분포는 어떻게 다른가. 특히 '음모론'과 '편향된 오른쪽' 태그와 같은 부족하게 다뤄진 태그의 경우 어떻게 되는가?

주요 결과

• 이 방법은 기존 Recfluence 데이터셋의 758개 채널보다 거의 10배 많은 7,224개의 사회정치적 유튜브 채널을 탐색했다.
• 모델은 같은 테스트 세트에서 뉴스 채널의 정치 성향 예측 정확도가 83.8%에 달했으며, 이는 이전 최고 성능 모델(73.0%)을 뛰어넘었다.
• 12개 정치 태그 중 11개에 대해 평균 인간 평가자보다 뛰어난 성능를 보였으며, 레이블이 50개 미만인 태그들 역시 포함되어 있었다.
• 발견된 채널들은 사회정치적 기준을 충족하는 전체 채널의 약 78%를 커버하는 것으로 추정되었으며, 더 높은 커버리지 가능성도 있다.
• '음모론' 채널의 트래픽은 전체 사회정치적 트래픽의 6.5%를 차지하지만, 상위 257개 '헤드 채널'의 트래픽에서는 단지 1.8%에 그쳐 이전 연구에서 상당한 부족함이 있음을 시사한다.
• 유사하게, '편향된 오른쪽' 채널은 전체 트래픽의 19.8%를 차지하지만, '헤드 채널' 트래픽에서는 14.6%에 그쳐, 인기 채널에 집중한 연구에서의 편향을 더욱 명확히 드러낸다.