[论文解读] ALONE: A Dataset for Toxic Behavior among Adolescents on Twitter

Thilini Wijesiriwardene, Hale Inan+6 more|arXiv (Cornell University)|Aug 14, 2020

Hate Speech and Cyberbullying Detection被引用 5

一句话总结

本文提出了 ALONE，一個針對高中生在 Twitter 上互動的多模態數據集，透過配對且具上下文意識的互動方式收集。透過保留推文串、圖片、表情符號與元資料，該數據集能實現超越單一推文的細緻毒性檢測，揭示上下文對準確分類至關重要——其中 17.15% 的互動被標記為有毒，79.51% 為非有毒，3.34% 為不清晰，突顯互動層級分析相較孤立內容的重要性。

ABSTRACT

The convenience of social media has also enabled its misuse, potentially resulting in toxic behavior. Nearly 66% of internet users have observed online harassment, and 41% claim personal experience, with 18% facing severe forms of online harassment. This toxic communication has a significant impact on the well-being of young individuals, affecting mental health and, in some cases, resulting in suicide. These communications exhibit complex linguistic and contextual characteristics, making recognition of such narratives challenging. In this paper, we provide a multimodal dataset of toxic social media interactions between confirmed high school students, called ALONE (AdoLescents ON twittEr), along with descriptive explanation. Each instance of interaction includes tweets, images, emoji and related metadata. Our observations show that individual tweets do not provide sufficient evidence for toxic behavior, and meaningful use of context in interactions can enable highlighting or exonerating tweets with purported toxicity.

研究动机与目标

• 解決現有數據集在使用者或推文層級分析毒性時的限制，這些方法常忽略網路騷擾中的上下文細節。
• 建立專注於高中生的數據集，此族群為經常受網路毒性影響的脆弱群體。
• 透過分析來源與目標使用者之間的互動，而非孤立訊息，以檢測真實的毒害行為。
• 提供一個資源，支援使用多模態資料（文字、圖片、表情符號、網址）訓練強健的機器學習模型進行毒性檢測。
• 促進青少年社交網路中網路毒性之時間序列與行為分析，支援對網路騷擾成因與模式的研究。

提出的方法

• 數據集從美國中西部地區高中生的經篩選樣本中收集，採用獨特方法確認參與者身分與互動關係。
• 每項互動均被建模為來源與目標使用者之間的有向、雙向交流，並保留完整的對話串與相關元資料。
• 資料包含 12 個欄位：互動 ID、次數、使用者 ID、表情符號與關鍵字、推文、圖片與網址關鍵字、時間戳記、喜愛次數、回覆上下文與毒性標籤。
• 毒性以三級標籤：有毒（T）、非有毒（N）或不清晰（U），最終由三位標記者之多數決決定。
• 標記者一致性以 Krippendorff’s alpha（三標籤時 α = 0.63，兩標籤時 α = 0.65）與 Cohen’s Kappa 測量，確認具顯著的標記者間一致性。
• 該數據集支援兩種標記模式：三類（T/N/U）與兩類（T/N），提供模型訓練與評估的彈性。

实验结果

研究问题

• RQ1 在雙向互動中，上下文如何影響青少年社交媒體溝通中對毒性的感知？
• RQ2 多模態元素（圖片、表情符號、網址）在青少年互動中對毒害行為檢測的貢獻程度為何？
• RQ3 標記不一致與模糊案例（例如「不清晰」情況）如何影響毒性檢測模型的效能與穩健性？
• RQ4 互動層級分析是否能超越傳統使用者或推文層級方法，更有效地識別真實的網路騷擾？
• RQ5 在內容豐富度、多模態使用與時間動態方面，毒害互動的分佈模式為何？

主要发现

• 毒害互動佔數據集的 17.15%，非毒害互動佔 79.51%，顯示明顯的類別不平衡，反映現實世界中的普遍現象。
• 「不清晰」類別佔 3.34% 的案例，標記者無法達成共識，突顯毒性檢測的主觀性。
• 毒害互動平均包含更多推文，顯示有害互動中具有更高的強度與延長的參與。
• 毒害互動更可能包含多媒體內容：43.88% 包含圖片網址，13.79% 包含影片網址，15.04% 包含文字網址，顯示有害互動中多媒體使用更為豐富。
• 表情符號與圖片關鍵字在毒害互動中更為常見，支持在毒性檢測中採用多模態建模的必要性。
• Krippendorff’s alpha 為 0.63（三標籤）與 0.65（兩標籤），顯示標記者間具顯著一致性，驗證標記流程的可靠性。