[論文レビュー] YouTube Chatter: Understanding Online Comments Discourse on Misinformative and Political YouTube Videos

Aarash Heydari, Janny Zhang+3 more|arXiv (Cornell University)|Jun 30, 2019

Misinformation and Its Impacts被引用数 6

ひとこと要約

本研究では、偏見や事実性の異なるチャンネルにおける政治的・誤情報動画のオンラインディスカッションを、コメント数、エンゲージメント、言語的特徴の観点から比較分析した。その結果、陰謀論・偽科学系や信頼性の低い情報源のチャンネルは、信頼できるまたは中立的チャンネルと比べて、1視聴者あたり最大11倍の返信を生成することが判明した。また、機械学習モデルを用いてコメント統計からチャンネルの偏見を予測することが成功した。

ABSTRACT

We conduct a preliminary analysis of comments on political YouTube content containing misinformation in comparison to comments on trustworthy or apolitical videos, labelling the bias and factual ratings of our channels according to Media Bias Fact Check where applicable. One of our most interesting discoveries is that especially-polarized or misinformative political channels (Left-Bias, Right-Bias, PragerU, Conspiracy-Pseudoscience, and Questionable Source) generate 7.5x more comments per view and 10.42x more replies per view than apolitical or Pro-Science channels; in particular, Conspiracy-Pseudoscience and Questionable Sources generate 8.3x more comments per view and 11.0x more replies per view than apolitical and Pro-Science channels. We also compared average thread lengths, average comment lengths, and profanity rates across channels, and present simple machine learning classifiers for predicting the bias category of a video based on these statistics.

研究の動機と目的

• 政治的偏見や誤情報のYouTubeチャンネルと、信頼できるまたは中立的なチャンネルとの間におけるオンラインコメントディスカッションの差を調査すること。
• 事実性や偏見の度合いが異なるチャンネルにおけるエンゲージメント水準（視聴者1人あたりのコメント数や返信数など）を定量化すること。
• 異なるチャンネルタイプにおけるコメントの言語的・構造的特徴（スレッド長、コメント長、乱暴語率など）を検討すること。
• コメント統計に基づいて動画の偏見カテゴリを予測する機械学習分類器の開発と評価を行うこと。
• 特に極端な対立や誤情報の可能性を有するコンテンツにおいて、コンテンツの信頼性と視聴者エンゲージメントの関係を評価すること。

提案手法

• 本研究では、マスコミバイアス・ファクトチェックが左寄り、右寄り、PragerU、陰謀論・偽科学、信頼性の低い情報源、科学的立場、中立的と分類したチャンネルのYouTube動画コメントを収集・分析した。
• 視聴者1人あたりのエンゲージメント指標（コメント数／視聴者数、返信数／視聴者数）を算出し、偏見や事実性のカテゴリーごとに比較した。
• 各チャンネルタイプごとに、コメントスレッド内の平均スレッド長、平均コメント長、乱暴語率を測定した。
• 得られたコメント統計を用いて、シンプルな機械学習分類器を訓練し、動画の偏見カテゴリを予測した。
• 分析は、32ページの図表と23の図表に根ざした実証的データに基づき、チャンネルタイプ間の比較統計に焦点を当てた。
• チャンネル分類の一貫性を確保するため、YouTubeの公開データとマスコミバイアス・ファクトチェックの偏見評価を用いた。

実験結果

リサーチクエスチョン

• RQ1 誤情報や政治的コンテンツを扱うYouTubeチャンネルと、中立的または信頼できるチャンネルとの間で、視聴者1人あたりのコメント数や返信数にどのような差が生じるか？
• RQ2 偏見や事実性の度合いが異なるチャンネルにおいて、コメントスレッドの構造、長さ、乱暴語率にどのような差が生じるか？
• RQ3 平均スレッド長や返信数といったコメント統計が、YouTube動画の偏見カテゴリをどの程度正確に予測できるか？
• RQ4 陰謀論・偽科学系や信頼性の低い情報源のチャンネルは、科学的立場や中立的チャンネルと比べてエンゲージメント指標でどのように異なるか？
• RQ5 高極端化や低事実性の動画では、オンラインディスカッションにどのようなパターンが現れるか？

主な発見

• 陰謀論・偽科学系および信頼性の低い情報源のチャンネルは、中立的またはプロ・サイエンス系チャンネルと比べ、コメントは1視聴者あたり8.3倍、返信は11.0倍多い。
• 全体として、誤情報や極端な偏見を有するチャンネル（左寄り、右寄り、PragerUを含む）は、中立的またはプロ・サイエンス系チャンネルと比べ、コメントは1視聴者あたり7.5倍、返信は10.42倍多い。
• 本研究では、スレッド長、コメント長、返信数といったコメント統計を用いて、機械学習分類器を成功裏に訓練し、動画の偏見カテゴリを予測した。
• 乱暴語率と平均コメント長は、チャンネルタイプによって顕著に異なり、極端な対立や誤情報の可能性を有するコンテンツでより高いエンゲージメントが観察された。
• 信頼性の低い事実性のチャンネルでは、平均スレッド長と返信数が著しく高く、より激しくもしくは長時間にわたるコメントのやり取りが生じていることが示された。
• 結果から、極端な対立や誤情報の可能性を有するコンテンツは、中立的または科学的に正確なコンテンツよりも顕著に多くのオンラインディスカッションとエンゲージメントを引き起こすことが示唆された。