[論文レビュー] ALONE: A Dataset for Toxic Behavior among Adolescents on Twitter

Thilini Wijesiriwardene, Hale Inan+6 more|arXiv (Cornell University)|Aug 14, 2020

Hate Speech and Cyberbullying Detection被引用数 5

ひとこと要約

本稿は、米国の中西部に所在する高校生の間で発生するトキシックな相互作用を、二重の関係的で文脈に配慮したやり取りを通じて収集した、マルチモーダルなデータセットALONEを紹介する。ツイートスレッド、画像、絵文字、メタデータを保持することで、個々のツイートを超えた洗練されたトキシシティ検出が可能となり、文脈が正確な分類に不可欠であることが明らかになった。トキシックとラベル付けされた相互作用は17.15%、非トキシックは79.51%、不明は3.34%であり、個々のコンテンツではなく相互作用レベルでの分析の重要性が浮き彫りになった。

ABSTRACT

The convenience of social media has also enabled its misuse, potentially resulting in toxic behavior. Nearly 66% of internet users have observed online harassment, and 41% claim personal experience, with 18% facing severe forms of online harassment. This toxic communication has a significant impact on the well-being of young individuals, affecting mental health and, in some cases, resulting in suicide. These communications exhibit complex linguistic and contextual characteristics, making recognition of such narratives challenging. In this paper, we provide a multimodal dataset of toxic social media interactions between confirmed high school students, called ALONE (AdoLescents ON twittEr), along with descriptive explanation. Each instance of interaction includes tweets, images, emoji and related metadata. Our observations show that individual tweets do not provide sufficient evidence for toxic behavior, and meaningful use of context in interactions can enable highlighting or exonerating tweets with purported toxicity.

研究の動機と目的

• 既存のデータセットがユーザーまたはツイートレベルでのトキシシティ分析にとどまっていることによる制限を是正し、オンラインいじめにおける文脈的ニュアンスを逃がさないようすること。
• 特に、オンライントキシシティの影響を強く受ける脆弱な集団としての高校生に特化したデータセットを構築すること。
• 送信者と受信者の間の相互作用を分析することで、孤立したメッセージではなく、真の有害行動を特定すること。
• テキスト、画像、絵文字、URLを含むマルチモーダルデータを用いた機械学習モデルの訓練を支援するリソースを提供すること。
• 高校生のソーシャルネットワークにおけるオンライントキシシティの時系列的・行動的分析を促進し、ネットいじめの原因やパターンに関する研究を支援すること。

提案手法

• 参加者の身元と相互作用を確認する独自の手法を用いて、米国の中西部に所在する高校生の選別されたサンプルからデータを収集した。
• 各相互作用は、送信者と受信者の間の有向的・二重のやり取りとしてモデル化され、完全な会話スレッドと関連するメタデータが保持された。
• データには12のフィールドが含まれる：相互作用ID、カウント、ユーザーID、絵文字とキーワード、ツイート、画像およびURLのキーワード、タイムスタンプ、お気に入り数、リプライ文脈、およびトキシシティラベル。
• トキシシティは3段階のスケールでラベル付けされる：トキシック（T）、非トキシック（N）、不明（U）。ラベルは3名のアノテーターによる過半数による投票で最終決定された。
• アノテーター間の一貫性は、クリッペンドルフのアルファ（α = 0.63（3ラベル）、α = 0.65（2ラベル））およびコーエンのカッパを用いて測定され、アノテーター間の信頼性が明確に確認された。
• 本データセットは、3クラス（T/N/U）および2クラス（T/N）の2種類のラベリング方式をサポートしており、モデルのトレーニングと評価における柔軟性を提供する。

実験結果

リサーチクエスチョン

• RQ1 二重の相互作用における文脈が、高校生のソーシャルメディアコミュニケーションにおけるトキシシティの認識にどのように影響するか？
• RQ2 マルチモーダル要素（画像、絵文字、URL）が、高校生の相互作用における有害行動の検出にどの程度寄与するか？
• RQ3 ラベル付けの不一致や曖昧なケース（例：「不明」のケース）が、トキシシティ検出モデルの性能と耐性にどのように影響するか？
• RQ4 従来のユーザーまたはツイートレベルのアプローチに比べ、相互作用レベルでの分析が、真のネットいじめの事例を特定する上で優れているか？
• RQ5 高校生の間で、コンテンツの豊かさ、マルチモーダル使用、時間的ダイナミクスの観点から、有害な相互作用の分布的パターンはどのようなものか？

主な発見

• 有害な相互作用はデータセット全体の17.15%を占め、非有害な相互作用は79.51%であり、現実世界の出現頻度を反映した顕著なクラス不均衡が示された。
• 「不明」カテゴリは全インスタンスの3.34%を占め、アノテーター間で合意に至らなかったケースを示しており、トキシシティ検出の主観的性質が浮き彫りになった。
• 有害な相互作用は、非有害な相互作用に比べて平均的により多くのツイートを含んでおり、有害なやり取りにおける高強度および継続的な関与が示唆された。
• 有害な相互作用ではマルチモーダルコンテンツの使用がより顕著で、43.88%が画像URL、13.79%が動画URL、15.04%がテキストURLを含んでおり、有害なやり取りにおける豊富なメディア使用が確認された。
• 絵文字や画像キーワードの使用は、有害な相互作用でより顕著であり、トキシシティ検出におけるマルチモーダルモデリングの必要性を裏付けた。
• クリッペンドルフのアルファが3ラベルで0.63、2ラベルで0.65であったことから、アノテーター間で著しい合意が得られており、ラベリングプロセスの信頼性が検証された。