[論文レビュー] Investigating User Radicalization: A Novel Dataset for Identifying Fine-Grained Temporal Shifts in Opinion

Flora Sakketou, Allison Lahnala+2 more|arXiv (Cornell University)|Apr 16, 2022

Opinion Dynamics and Social Influence被引用数 7

ひとこと要約

本稿では、3.5K件のReddit投稿を対象に、時間的経過と会話スレッド内での細分化されたステーク・ポジティブ性および強度ラベルを備えた、SPINOSと呼ばれる新しいアノテート済みデータセットを紹介する。このデータセットは、ユーザー中心の縦断的アノテーションとスレッド内ステークダイナミクスを統合することで、微細な意見の変化をモデル化可能であり、非専門家による過半数投票によって専門家水準のアノテーション品質を達成し、ステーク検出および意見の進化分析のための強力なベースラインを提供する。

ABSTRACT

There is an increasing need for the ability to model fine-grained opinion shifts of social media users, as concerns about the potential polarizing social effects increase. However, the lack of publicly available datasets that are suitable for the task presents a major challenge. In this paper, we introduce an innovative annotated dataset for modeling subtle opinion fluctuations and detecting fine-grained stances. The dataset includes a sufficient amount of stance polarity and intensity labels per user over time and within entire conversational threads, thus making subtle opinion fluctuations detectable both in long term and in short term. All posts are annotated by non-experts and a significant portion of the data is also annotated by experts. We provide a strategy for recruiting suitable non-experts. Our analysis of the inter-annotator agreements shows that the resulting annotations obtained from the majority vote of the non-experts are of comparable quality to the annotations of the experts. We provide analyses of the stance evolution in short term and long term levels, a comparison of language usage between users with vacillating and resolute attitudes, and fine-grained stance detection baselines.

研究の動機と目的

• SNSにおける微細な時間的意見ダイナミクスをモデル化するための、公開可能で高品質なデータセットの不足に対処すること。
• 長期間にわたるユーザー単位の意見の進化と、会話スレッド内での短期的変動の両方を研究可能にするための支援。
• 既存のデータセットに多く見られるように、ステーク強度のアノテーションを組み込むことで、微細な意見の変化を特定すること。
• 多数決による投票によって、非専門家のアノテータが高品質なステークアノテーションを生成できるかどうかを検証すること。
• 社会的・政治的議論における意見の揺らぎ（vacillating）と一貫性（resolute）を示すユーザー行動の違いを、ベースラインモデルと実証的知見を通じて明らかにすること。

提案手法

• データセットSPINOSは、中絶や銃規制などの社会的・政治的トピックに関する3.5K件のReddit投稿を収集し、ステークポジティブ性および強度をアノテートしたものである。
• 各ユーザーの投稿は時間的経過に沿ってアノテートされ、意見の変化の縦断的分析が可能になる。
• 会話スレッド内のすべてのステークがアノテートされ、スレッド内での意見ダイナミクスと一貫性の研究が可能になる。
• 非専門家のアノテータが採用され、専門家との一致度を用いて検証され、最終的なラベルは過半数投票によって決定される。
• 品質管理を確保するためのマルチステージのアノテーションパイプラインが採用され、データの顕著なサブセットに対して専門家の検証が実施される。
• 重み付きF1スコアを用いた5つの分類タスク（ステークポジティブ性、強度、および統合分類）の分類器を訓練してベースラインモデルを構築する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーのステークはどのように時間的経過とともに変化するのか？長期間にわたる意見の変化にどのようなパターンが現れるか？
• RQ2 会話スレッド内では、ステークはどのように変化するのか？ユーザーはポジティブ性を変えるのか、それとも強度のみを変えるのか？
• RQ3 意見の揺らぎ（vacillating）を示すユーザーと、安定したステークを持つユーザーを区別する言語的特徴は何か？
• RQ4 非専門家アノテータが、微細なステーク強度に対して専門家と同等の品質のアノテーションを生成できるか？
• RQ5 強度とポジティブ性の変動は、言語的スタイル、参加度、および外部イベントとどのように相関するか？

主な発見

• 非専門家アノテータの過半数投票により、アノテータ間一致度分析の結果、専門家と同等のアノテーション品質が達成された。
• ユーザーは頻繁にポジティブ性を変更するが、ほとんどのユーザーは片方のポジティブ性に対して強い強度を示すため、感情的投資に非対称性が見られる。
• 会話スレッド内では、意見の変化は主に強度の変化であり、ポジティブ性の変化ではないため、変化は段階的で微細であると考えられる。
• 意見の揺らぎを示すユーザーは、特定の語彙カテゴリーがより多く使用されるという明確な言語的パターンを示す。
• 最も優れたモデルは、微細なステーク検出タスクで重み付きF1スコア0.652を達成し、このデータセットが困難で高精度なモデリングを可能にしていることが示された。
• このデータセットにより、強度の持続性、言語的スタイルの一致、およびステーク変化に伴う感情表現に関する、新たな研究が可能になる。