[論文レビュー] A survey of textual cyber abuse detection using cutting-edge language models and large language models

José A. Dı́az-Garcı́a, João Paulo Carvalho|arXiv (Cornell University)|Jan 9, 2025

Hate Speech and Cyberbullying Detection被引用数 5

ひとこと要約

この論文は、テキスト型サイバー悪用検出の体系的調査を提供し、最先端の言語モデルとLLMsが悪用コンテンツの検出と生成にどのように使用されているかを強調し、ヘイトスピーチとサイバーブリンギングを超えた、未探索の悪用形式についてもレビューする。

ABSTRACT

The success of social media platforms has facilitated the emergence of various forms of online abuse within digital communities. This abuse manifests in multiple ways, including hate speech, cyberbullying, emotional abuse, grooming, and sexting. In this paper, we present a comprehensive analysis of the different forms of abuse prevalent in social media, with a particular focus on how emerging technologies, such as Language Models (LMs) and Large Language Models (LLMs), are reshaping both the detection and generation of abusive content within these networks. We delve into the mechanisms through which social media abuse is perpetuated, exploring the psychological and social impact. Additionally, we examine the dual role of advanced language models-highlighting their potential to enhance automated detection systems for abusive behavior while also acknowledging their capacity to generate harmful content. This paper aims to contribute to the ongoing discourse on online safety and ethics, offering insights into the evolving landscape of cyberabuse and the technological innovations that both mitigate and exacerbate it.

研究の動機と目的

• オンラインプラットフォームにおけるテキスト型サイバー悪用の形態とその影響を調査する。
• 最先端の言語モデルと大規模言語モデルが悪用の検知と分析にどのように用いられているかを評価する。
• AIを用いたサイバー悪用の評価と緩和におけるギャップ、課題、将来の方向性を特定する。
• ヘイトスピーチとサイバーブリンギング以外の過小評価されている悪用形態も含めて、対象範囲を拡大する。）

提案手法

• PRISMA手法を適用して研究質問、検索戦略、適格基準、研究選択を formulatする。
• テキストベースのデータセットとLM/LLM手法に焦点を当てた2022–2024年のジャ journal論文の構造化リテラチャーレビューを実施する。
• 研究を悪用形態（ヘイトスピーチ、サイバーブリンギング、ドキシング、トローリング、なりすまし、恥はじき/キャンセル文化、感情的/心理的虐待）で分類する。
• 検知と悪用コンテンツ生成に対するLM/LLMの寄与を分析する。
• 評価実践を統合し、不均衡データや多言語横断の考慮を議論する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 従来の手法と比較して、テキスト型サイバー悪用検出におけるLMs/LLMsはどれだけ代表性があるか？
• RQ2 RQ2: 評価指標と前処理手法は、サイバー悪用検出におけるクラス不均衡に適切に対処しているか？
• RQ3 RQ3: サイバー悪用検出の開発を形作る新たな動向と将来の方向性は何か？
• RQ4 RQ4: どのタイプのサイバー悪用検出が最もLLMsの影響を受けているか？
• RQ5 RQ5: どの形態のサイバー悪用が未探究で検出ソリューションが不足しているか？

主な発見

• LMs/LLMsはヘイトスピーチとサイバーブリンギング検出にますます採用が進んでおり、多くはアンサンブル法やマルチモデル手法を介している。
• 半教師あり学習およびデータ拡張戦略は、ラベル付きデータが限られている場合の検出を改善する。
• クロスリンガルおよび多言語アプローチは、低資源言語での性能を向上させる。
• 最近の研究はドキシング、トローリング、なりすまし、恥はじき/キャンセル文化などの未表現形態への検出を拡張しているが、網羅性は依然不均一である。
• 評価はクラス不均衡、データセットのバイアス、ドメイン横断一般化の課題に直面することが多い。
• 一部の研究は検出器をテストし、モデルの挙動を理解するために悪用コンテンツの生成を探る。