[論文レビュー] A Longitudinal Analysis of YouTube's Promotion of Conspiracy Videos

Marc Faddoul, Guillaume Chaslot+1 more|arXiv (Cornell University)|Mar 6, 2020

Misinformation and Its Impacts参考文献 13被引用数 64

ひとこと要約

本論文は陰謀動画分類器を開発し、1,100以上のチャンネルを横断するYouTubeの watch-next エミュレーションを用いて、陰謀的コンテンツが推奨される頻度を定量化し、ポリシー主導の変化を追跡し、長期的なフィルター・バブル効果を分析する。

ABSTRACT

Conspiracy theories have flourished on social media, raising concerns that such content is fueling the spread of disinformation, supporting extremist ideologies, and in some cases, leading to violence. Under increased scrutiny and pressure from legislators and the public, YouTube announced efforts to change their recommendation algorithms so that the most egregious conspiracy videos are demoted and demonetized. To verify this claim, we have developed a classifier for automatically determining if a video is conspiratorial (e.g., the moon landing was faked, the pyramids of Giza were built by aliens, end of the world prophecies, etc.). We coupled this classifier with an emulation of YouTube's watch-next algorithm on more than a thousand popular informational channels to obtain a year-long picture of the videos actively promoted by YouTube. We also obtained trends of the so-called filter-bubble effect for conspiracy theories.

研究の動機と目的

• YouTubeの推奨アルゴリズムが陰謀的コンテンツを時間を追ってどのように促進するかを評価する。
• 陰謀的動画を検出するためのテキストベースの分類器を開発・検証する。
• YouTubeの watch-next 推奨をエミュレートして、情報系チャンネル上での陰謀への露出を定量化する。
• YouTubeのポリシー告知が陰謀的推奨の頻度に与える影響を分析する。
• 陰謀コンテンツについてのフィルター・バブル効果の存在と強さを調査する。

提案手法

• トランスクリプト、スニペット、コメント、Perspective API の特徴を用いた fastText ベースの二層テキスト-video分類器を作成する。
• transcript、snippet、comments、Perspective ベースの特徴の4モジュールの第1層を訓練し、それらの出力をロジスティック回帰層と組み合わせる。
• 542 件の陰謀 videos と 568 件の非陰謀 videos の訓練データを用い、1095 本を100-fold クロスバリデーションで訓練する。
• Seed チャンネル1146件からのクローリングで YouTube の watch-next アルゴリズムをエミュレート（最終的には剪定後1080件）、2018年10月〜2020年2月の毎日トップ1000再生推奨動画を収集する。
• 分類器を用いて動画を陰謀的としてラベル付けし、0〜1の陰謀確率スコアを算出する。
• 閾値0.5で340本の未出力サンプル動画に対して分類器の精度を評価し、適合率と再現率をそれぞれ78%および86%と報告する。
• 時間の経過に伴う生データおよび加重陰謀推奨の長期的傾向を分析し、非負値行列因子分解を適用してトピックを特定する（Alternative Science and History; Prophecies and Online Cults; Political Conspiracies）。
• ポリシー告知の周辺期間を含む時系列セグメントにおいて、ソース動画の陰謀性と推奨の陰謀性の相関を調べ、フィルター・バブル効果を評価する。

実験結果

リサーチクエスチョン

• RQ1 情報系 YouTube チャンネルの推奨のうち、陰謀的なものの割合はどれくらいで、時間とともにどう変化するか？
• RQ2 テキストベースの分類器は、トランスクリプト・タイトル/説明/タグ・コメント・Perspective API の特徴を用いて、陰謀動画を信頼性高く検出できるか？
• RQ3 YouTube が発表したモデレーション変更は、陰謀推奨の割合にどのような影響を与えたか？
• RQ4 YouTube の推奨における陰謀コンテンツに対して、測定可能なフィルター・バブル効果は存在するか、またそれはどう進化したか？
• RQ5 推奨における陰謀コンテンツのトピックはどれが支配的で、研究期間中にどのように移動したか？

主な発見

• 陰謀分類器は、出力サンプル動画の閾値0.5で適合率78%、再現率86%を達成する。
• 情報系チャンネルでの生の陰謀推奨は2019年半ば前に約10%、加重推奨は約6%でピークを迎えた。
• 2019年の YouTube のポリシー告知後、生の陰謀推奨は2019年6月頃に低下して約3%へ、以降回復の兆しを見せたが、加重頻度は依然低く抑えられ、部分的な回復を示した。
• 3つの主要な陰謀トピックが出現した：Alternative Science and History; Prophecies and Online Cults; Political Conspiracies（QAnonを含む）。トピック分布は例として、Alternative Science and History の生データ内で陰謀セットの51.7%を占める、等が報告されている。
• 出典動画の陰謀性と推奨の陰謀性には正の相関があり、フィルター・バブル効果が存在することを示唆しており、 strongest は2018年10月〜2019年1月で、以降は減少傾向。
• ポリシー対応によりチャンネルレベルで陰謀コンテンツが減少し、いくつかの高有望チャンネルはデフォルト推奨から実質的に降格・削除された。ただし、特定のチャンネルでの回復が見られることから、部分的な回避または進化する基準がある可能性が示唆される。