[論文レビュー] Understanding YouTube Communities via Subscription-based Channel Embeddings

Sam Clark, Anna Zaitsev|arXiv (Cornell University)|Oct 19, 2020

Hate Speech and Cyberbullying Detection参考文献 17被引用数 7

ひとこと要約

本稿では、コメント投稿者の購入データを用いた自己教師付き手法を紹介し、YouTubeチャンネルの発見および分類を可能にすることで、社会的・政治的コミュニティのスケールアップ分析を実現する。政治的傾向予測の正確性は83.8%に達し、先行モデルを上回る。7,224の以前に分析されていなかったチャンネルが同定され、『陰謀論』や『派閥的右派』のコンテンツが、人気のあるチャンネルに限定した研究では顕著に不足していることが明らかになった。

ABSTRACT

YouTube is an important source of news and entertainment worldwide, but the scale makes it challenging to study the ideas and topics being discussed on the platform. This paper presents new methods to discover and classify YouTube channels which enable the analysis of communities and categories on the platform using orders of magnitude more channels than have been used in previous studies. Instead of using channel and video data as features for classification as other researchers have, these methods use a self-supervised learning approach that leverages the public subscription pages of commenters. We test the classification method on the task of predicting the political lean of YouTube news channels and find that it outperforms the previous best model on the task. Further experiments also show that there are important advantages to using commenter subscriptions to discover channels. The subscription data, along with an iterative approach, is applied to discover, to our current understanding, the most comprehensive set of English language socio-political YouTube channels yet to be analyzed. We experiment with predicting more fine grained political tags for channels using a previously annotated dataset and find that our model performs better than the average individual human reviewer for most of the top tags. This fine grained political tag model is then applied to the newly discovered English language socio-political channels to create a new dataset to analyze the amount of traffic going to different political content. The data shows that some tags, such as "Partisan Right" and "Conspiracy", are significantly under represented when looking only at the most popular socio-political channels. Through the use of our methods, we are able to get a much more accurate picture of the size of these communities on YouTube.

研究の動機と目的

• 人気のあるYouTubeチャンネルに限定された先行研究の限界を是正し、より小さなニッチコミュニティからの顕著なトラフィックを捉えること。
• 最も登録者が多いチャンネルを超えた、社会的・政治的YouTubeチャンネルの発見および分類のスケーラブルな手法を開発すること。
• コメント投稿者の購入データから得られる自己教師付き埋め込みを用いて、政治的チャンネル分類の正確性を向上させること。
• 既存データセットのカバレッジを測定し、高登録者数チャンネルに限定した分析が特定の政治的コンテンツタイプを顕著に欠落させることを示すこと。
• より正確なコミュニティレベルの分析を可能にするために、英語圏の社会的・政治的チャンネルを網羅する新しい包括的データセットを構築すること。

提案手法

• 公開のコメント投稿者購入ページを活用し、自己教師付き学習アプローチによりチャンネル埋め込みを生成する。各コメント投稿者の購入リストをトレーニング信号として扱う。
• Recfluenceデータセットからのラベル付きデータを用いて、チャンネル埋め込みにk近傍法（k-NN）分類器を適用し、政治的・イデオロギー的タグを予測する。
• 反復的発見手法を採用し、コメント投稿者の購入パターンを分析することで、既存データセットの基準を満たすチャンネルを同定する。
• ホールドアウトベースのカバレッジ推定技術を用いて、発見されたデータセットが社会的・政治的チャンネルのどの程度をカバーしているかを測定する。
• 発見されたチャンネルを元のRecfluenceデータセットと統合し、トラフィック分析に適した包括的な社会的・政治的チャンネルデータセットを構築する。
• 動画の字幕や音声信号を用いた既存の機械学習モデルと比較するため、共通のテストセットを用いて性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 提案手法は、最も人気のあるチャンネルを超えて、どの程度社会的・政治的YouTubeチャンネルを発見できるか？
• RQ2 コメント投稿者の購入データから得られるチャンネル埋め込みは、人間のアノテーターと比較して、政治的・イデオロギー的タグをどの程度正確に予測できるか？
• RQ3 動画の字幕や音声信号を用いた既存の機械学習モデルと比較して、本手法の性能はいかがなものか？
• RQ4 既存のデータセットにおける社会的・政治的コンテンツの実際のカバレッジはどの程度か？また、高登録者数チャンネルに限定した分析では、どの程度のコンテンツが欠落しているか？
• RQ5 'ヘッド'チャンネル（上位257位）と全社会的・政治的チャンネルとの間で、トラフィックの分布はどのように異なるか？特に『陰謀論』や『派閥的右派』のような未代表的なタグでは？

主な発見

• 本手法により、7,224の社会的・政治的YouTubeチャンネルが発見され、元のRecfluenceデータセット（758チャンネル）の約10倍に相当する。
• 政治的傾向予測の正確性は83.8%に達し、同じテストセットで前回の最高モデル（73.0%）を上回った。
• 12の政治的タグのうち11つで、平均的人間レビュアーを上回る性能を示し、50件未満のラベル付き例があるタグに対しても同様であった。
• 発見されたチャンネルは、社会的・政治的基準を満たす全チャンネルの推定78%をカバーしており、さらなるカバレッジ向上の可能性を秘めている。
• 『陰謀論』チャンネルのトラフィックは、全社会的・政治的トラフィックの6.5%を占めるが、上位257位の『ヘッド』チャンネルではわずか1.8%にとどまり、先行研究における顕著な不足が示された。
• 同様に、『派閥的右派』チャンネルは全トラフィックの19.8%を占めるが、『ヘッド』チャンネルでは14.6%にとどまるため、人気のあるチャンネルに限定した研究におけるバイアスがさらに顕著になった。