[論文レビュー] Leveraging cross-platform data to improve automated hate speech detection

John Gallacher|arXiv (Cornell University)|Feb 9, 2021

Hate Speech and Cyberbullying Detection被引用数 7

ひとこと要約

本稿では、複数のソーシャルメディアプラットフォームからの多様なデータセットおよびモデルを統合し、スーパーラーナーアンサンブルを用いて一般化性能と性能を向上させるクロスプラットフォームの嫌がらせ検出フレームワークを提案する。スタッキング一般化を用いて異種の学習データおよびモデルを効果的に統合することで、未確認のプラットフォームに対しても優れた検出精度を示す。

ABSTRACT

Hate speech is increasingly prevalent online, and its negative outcomes include increased prejudice, extremism, and even offline hate crime. Automatic detection of online hate speech can help us to better understand these impacts. However, while the field has recently progressed through advances in natural language processing, challenges still remain. In particular, most existing approaches for hate speech detection focus on a single social media platform in isolation. This limits both the use of these models and their validity, as the nature of language varies from platform to platform. Here we propose a new cross-platform approach to detect hate speech which leverages multiple datasets and classification models from different platforms and trains a superlearner that can combine existing and novel training data to improve detection and increase model applicability. We demonstrate how this approach outperforms existing models, and achieves good performance when tested on messages from novel social media platforms not included in the original training data.

研究の動機と目的

• 既存の嫌がらせ検出モデルが単一プラットフォーム上で学習および評価されているという制限を解消し、一般化能力を向上させること。
• 複数のソーシャルメディアプラットフォームにおける多様な言語的パターンを活用することで、モデルのロバスト性と適用可能性を向上させること。
• 異なるプラットフォームからの既存および新規の学習データを統合した包括的なフレームワークを構築し、検出性能を向上させること。
• 訓練ドメインを超えて実用的であることを保証するため、以前に未確認のプラットフォーム上でモデルの有効性を評価すること。

提案手法

• 本手法は、複数のベースモデルの予測を統合するスーパーラーナーのアンサンブルメタラーナーを採用しており、それぞれのベースモデルは別々のプラットフォームのデータセット上で学習される。
• 各ベースモデルは、個々のソーシャルメディアプラットフォームからのラベル付き嫌がらせデータ上で学習され、プラットフォーム固有の言語的スタイルや表現を捉える。
• スーパーラーナーはスタッキング一般化を用い、ベースモデルの予測を最適に重み付けして統合することで、全体の精度を向上させる。
• モデルの一般化を強化するため、多様なプラットフォームからの既存および新たに収集された学習データを統合する。
• 標準的な自然言語処理（NLP）指標、例えばF1スコア、適合率、再現率を用いて、複数のテストセットでモデルの性能を評価する。
• 本手法は、訓練データに含まれないプラットフォームからのメッセージを含むクロスプラットフォームのテストデータでも検証される。

実験結果

リサーチクエスチョン

• RQ1 クロスプラットフォームのデータで学習した統一モデルは、単一プラットフォームのベースラインを上回る嫌がらせ検出性能を示せるか？
• RQ2 スーパーラーナーのアンサンブルは、訓練データに含まれない新しいソーシャルメディアプラットフォームに対しても一般化できるか？
• RQ3 複数のプラットフォームからの多様な言語的パターンを統合することで、検出性能はどの程度向上するか？
• RQ4 メタラーニングを用いて複数の事前学習済みモデルを統合することで、全体の検出精度にどのような影響を与えるか？

主な発見

• 提案されたクロスプラットフォームのスーパーラーナーモデルは、単一プラットフォームのベースラインと比較してF1スコアで顕著な向上を示し、検出性能の向上を実証した。
• 本モデルは、訓練データに含まれない新しいプラットフォームに対しても効果的に一般化され、未確認のソーシャルメディアプラットフォームのテストデータでも高い性能を維持した。
• スーパーラーナーのフレームワークは個々のベースモデルを上回る性能を示し、アンサンブル学習が複数プラットフォーム間で補完的なパターンを効果的に捉えていることを示した。
• 異種の学習データの統合により、よりロバストで適応性のある嫌がらせ検出が実現され、プラットフォーム固有のバイアスが低減された。