[論文レビュー] Algorithmic Detection and Analysis of Vaccine-Denialist Sentiment Clusters in Social Networks

Bjarke Mønsted, Sune Lehmann|arXiv (Cornell University)|May 30, 2019

Vaccine Coverage and Hesitancy参考文献 18被引用数 10

ひとこと要約

本稿では、二重方向GRUと重み付きアテンション層を組み合わせたハイブリッドニューラルネットワークモデルを用いて、Twitter上での反ワクチンおよびプロワクチン感情クラスタを検出・分析する深層学習アプローチを提示する。このモデルは、二値感情分類で90.4%の正確度、三値分類で0.762のF1スコアを達成した。研究では、反ワクチンユーザーが主にYouTubeや商業的健康サイトのリンクを共有しているのに対し、プロワクチンユーザーはニュースや科学系の出先を好むことが明らかになった。また、議論ネットワークは強い同質的混合性を示しており（r = 0.813）、ネットワークの構造的特徴が顕著に観察された。

ABSTRACT

Vaccination rates are decreasing in many areas of the world, and outbreaks of preventable diseases tend to follow in areas with particular low rates. Much research has been devoted to improving our understanding of the motivations behind vaccination decisions and the effects of various types of information offered to skeptics, no large-scale study of the structure of online vaccination discourse have been conducted. Here, we offer an approach to quantitatively study the vaccine discourse in an online system, exemplified by Twitter. We use train a deep neural network to predict tweet vaccine sentiments, surpassing state-of-the-art performance, attaining two-class accuracy of $90.4\%$, and a three-class F1 of $0.762$. We identify profiles which consistently produce strongly anti- and pro-vaccine content. We find that strongly anti-vaccine profiles primarily post links to Youtube, and commercial sites that make money on selling alternative health products, representing a conflict of interest. We also visualize the network of repeated mutual interactions of actors in the vaccine discourse and find that it is highly stratified, with an assortativity coefficient of $r = .813$.

研究の動機と目的

• SNS、特にTwitterにおけるワクチン関連議論の構造的・行動的ダイナミクスを理解すること。
• スケール的に一貫して反ワクチンまたはプロワクチンの感情を表明するユーザーのプロファイルを特定・特徴付けること。
• 反ワクチンおよびプロワクチンユーザーが共有する外部リンクの種別を分析し、潜在的な利益相反の兆候を特定すること。
• ワクチン議論関係者間の相互作用ネットワークの構造を検討し、その分層性を評価すること。
• SNSテキストにおけるワクチン感情分類の高精度NLPモデルを構築・検証すること。

提案手法

• 二重方向GRUと重み付きアテンション層を組み合わせたハイブリッドアーキテクチャを持つ深層ニューラルネットワークを訓練し、感情分類の精度を向上させるためにfasttextでファインチューニングした。
• 初期の事前学習済み層を固定した後、チェーン・トゥーリングのファインチューニング戦略を用いてモデル性能を向上させた。
• 二値分類（反ワクチン対それ以外）および三値分類（反ワクチン、ニュートラル、プロワクチン）の両タスクにおいて、層別化10分割交差検証を適用してモデル性能を評価した。
• ワクチン、自閉症、健康、音楽に関連する27の特定ハッシュタグを含むツイートを抽出・処理し、意味の曇りを軽減し、データのバランスを改善した。
• ツイートレベルの感情予測における分類器の信頼度に基づき、50%以上のツイートで50%の閾値を超えるユーザーを反ワクチンまたはプロワクチンプロファイルとして特定した。
• 外部リンクを基本URLにマッピングし、ニュース、科学、商業、陰謀論系サイトなどのドメインに分類して、コンテンツバイアスを分析した。

実験結果

リサーチクエスチョン

• RQ1 最先端の手法と比較して、深層学習モデルがSNSテキストにおけるワクチン感情分類でどの程度の性能を示すか。
• RQ2 反ワクチンおよびプロワクチンユーザーが最も頻繁にリンクするウェブサイトやコンテンツの種別は何か。これらのパターンは、動機づけや利益相反に関する何を示唆するか。
• RQ3 反ワクチンおよびプロワクチンプロファイルの活動レベルや投稿頻度はどのように比較されるか。また、これらはパワーロー分布に従うか。
• RQ4 ワクチン議論関係者間の相互作用ネットワークの構造的組織はどのようなものか。また、その同質的混合性（assortativity）はどの程度か。
• RQ5 分類器の予測は、曖昧なケース（例：バンド名、風刺、比喩的表現など）における感情の定性的理解とどの程度整合しているか。

主な発見

• 提案された深層ニューラルネットワークは、二値感情分類で90.4%の正確度、三値分類で0.762のF1スコアを達成し、先行する最先端モデルを上回った。
• 反ワクチンプロファイルは主にYouTubeや商業的健康製品サイトのリンクを共有しており、コンテンツ配布に財務的インcentive（インcentive）がある可能性を示唆している。
• プロワクチンプロファイルはニュースや科学系ウェブサイトへのリンクを最も頻繁に共有しており、反ワクチンユーザーに比べてより多様な情報源を利用していた。
• ワクチン議論関係者間の繰り返し相互作用ネットワークは、強い同質的混合性を示し、同質的混合係数はr = 0.813であった。
• 反ワクチンおよびプロワクチンユーザーのプロファイル活動レベルは、いずれもパワーロー分布に従っており、少数の活発なユーザーが不釣り合いに多くのコンテンツを生成していることが示された。
• 分類器は、バンド「The Vaccines」を指すツイートや風刺的比較（例：マウールスの駆除コスト）といった曖昧なケースを正しくニュートラルと特定し、意味の曇りを効果的に解消する能力を示した。