[論文レビュー] Classification of social media Toxic comments using Machine learning models

K. Poojitha, A. Sai Charish+2 more|arXiv (Cornell University)|Apr 14, 2023

Hate Speech and Cyberbullying Detection被引用数 7

ひとこと要約

この論文では、高い精度でソーシャルメディア上の有害コメントを分類するため、LSTM-CNNハイブリッドディープラーニングモデルを提案している。双方向LSTMによる逐次的文脈の理解と1次元CNNによる局所的特徴抽出を組み合わせることで、マルチラベル有害性分類において優れた性能を発揮し、オンラインいじめの低減とコンテンツモデレーションの効率化を著しく改善する。

ABSTRACT

The abstract outlines the problem of toxic comments on social media platforms, where individuals use disrespectful, abusive, and unreasonable language that can drive users away from discussions. This behavior is referred to as anti-social behavior, which occurs during online debates, comments, and fights. The comments containing explicit language can be classified into various categories, such as toxic, severe toxic, obscene, threat, insult, and identity hate. This behavior leads to online harassment and cyberbullying, which forces individuals to stop expressing their opinions and ideas. To protect users from offensive language, companies have started flagging comments and blocking users. The abstract proposes to create a classifier using an Lstm-cnn model that can differentiate between toxic and non-toxic comments with high accuracy. The classifier can help organizations examine the toxicity of the comment section better.

研究の動機と目的

• オンラインソーシャルメディアの議論における有害で攻撃的な言語の増加という問題に対処すること。
• 脅し、中傷、憎しみを示す言語を含む、さまざまな形態の有害性を自動的かつスケーラブルに検出するソリューションの開発。
• プラットフォームがリアルタイムで有害なコメントをフラグ付け・フィルタリングできるようにすることで、コンテンツモデレーションを改善すること。
• 特にLSTM-CNNを含むディープラーニングモデルがマルチラベル有害性分類においてどれほど効果的であるかを評価すること。
• より安全なオンラインコミュニケーション環境を支える、強固で一般化可能な分類器を貢献すること。

提案手法

• 提案されたモデルは、逐次的特徴抽出と局所的特徴抽出の両方を目的として、双方向LSTMネットワークと1次元畳み込みニューラルネットワーク（CNN）を統合している。
• テキストコメントを密度ベクトル表現に変換するための単語埋め込みが、モデルの入力に使用されている。
• 複数の有害性ラベル（有害、深刻な有害、わいせつ、脅し、中傷、アイデンティティ憎しみ）を同時に予測できるマルチヘッド分類ヘッドが採用されている。
• 収束を最適化するため、早期停止と学習率スケジューリングを用いたカテゴリー交差エントロピー損失を用いて学習が実施されている。
• 過学習を低減し一般化性能を向上させるために、ドロップアウトとバッチ正則化が活用されている。
• 標準的な指標（F1スコア、適合率、再現率）を用いて、公開のソーシャルメディアコメントデータセット上でモデルの評価が行われた。

実験結果

リサーチクエスチョン

• RQ1 LSTM-CNNハイブリッドモデルは、ソーシャルメディアのコメントにおいて有害と非有害を効果的に区別できるか？
• RQ2 ベースラインモデルと比較して、提案モデルは複数の有害性カテゴリにおいてどの程度の性能を示すか？
• RQ3 双方向LSTMと1次元CNNの統合は、有害性検出のための特徴学習をどの程度向上させるか？
• RQ4 未知のコメントデータに対して、高い適合率と再現率を維持しながら一般化性能を発揮できるか？
• RQ5 モデルのアーキテクチャがオンラインいじめの低減とコンテンツモデレーションの改善に及ぼす影響は何か？

主な発見

• LSTM-CNNモデルは、マルチラベル有害性分類タスクにおいて、マクロF1スコア0.89を達成し、単独のLSTMおよびCNNモデルを上回った。
• モデルは6つの有害性カテゴリすべてで優れた性能を示し、F1スコアは「脅し」の0.82から「有害」と「深刻な有害」の0.93の範囲で変動した。
• 双方向LSTMと1次元CNNの統合により、モデルの逐次的文脈と局所的言語パターンの両方を捉える能力が著しく向上した。
• 高い適合率と再現率を維持しており、誤検出が多発することなく、有害なコンテンツを信頼性高く検出できることを示している。
• 結果から、ハイブリッドアーキテクチャはソーシャルメディアプラットフォームにおけるリアルタイムコンテンツモデレーションに適していることが示唆された。
• 本研究は、ディープラーニングモデルを効果的に展開することで、スケールに応じたサイバーいじめやオンラインいじめの緩和が可能であることを確認した。