[論文レビュー] Hateminers : Detecting Hate speech against Women

Punyajoy Saha, Binny Mathew+2 more|arXiv (Cornell University)|Dec 17, 2018

Hate Speech and Cyberbullying Detection参考文献 13被引用数 37

ひとこと要約

本論文では、文の埋め込み、TF-IDFベクトル、bag-of-words特徴を組み合わせることで、Twitterにおける女性を標的にした嫌がらせ発言を検出する機械学習システムHateminersを提示する。モデルは英語Subtask A（70.4％の正解率）で1位、Subtask B（0.37のマクロF1スコア）で5位を達成し、ミソジニスト的カテゴリ分類におけるデータのアンバランスさに起因する課題が浮き彫りになった。

ABSTRACT

With the online proliferation of hate speech, there is an urgent need for systems that can detect such harmful content. In this paper, We present the machine learning models developed for the Automatic Misogyny Identification (AMI) shared task at EVALITA 2018. We generate three types of features: Sentence Embeddings, TF-IDF Vectors, and BOW Vectors to represent each tweet. These features are then concatenated and fed into the machine learning models. Our model came First for the English Subtask A and Fifth for the English Subtask B. We release our winning model for public use and it's available at https://github.com/punyajoy/Hateminers-EVALITA.

研究の動機と目的

• ソーシャルメディアプラットフォームにおける英語のつぶやきに含まれるミソジニスト的コンテンツを効果的に検出するシステムの開発。
• 特に性的に攻撃的ないたずらやジェンダーに基づく敵意を示す形でのオンライン嫌がらせの増加という問題に対処すること。
• 強固な特徴工学とアンサンブルモデリングを用いて、ミソジニスト的コンテンツの自動検出を改善すること。
• 今後の研究や応用のための公開可能で高精度なモデルを提供すること。

提案手法

• URLの削除、小文字への変換、短縮語の展開、絵文字の削除、ストップワードや標 punctuatioの除去、トークン化およびステミングを含む、つぶやきの前処理。
• ユニバーサル文書埋め込みを用いて、512次元の文脈的表現を生成する。
• scikit-learnのベクトライザを用いて、前処理済みテキストからTF-IDFベクトルを生成し、語の頻度と逆文書頻度を捉える。
• 各文ごとに事前学習済みのGloVe語の埋め込み（300次元）の平均値を用いて、bag-of-wordsベクトルを構築する。
• 3つの特徴タイプ（文の埋め込み、TF-IDF、BoW）を連結し、1つのつぶやきあたりの特徴ベクトルを生成する。
• バイナリ分類およびマルチクラス分類の両タスクに対して、結合された特徴セットを用いて、複数の分類器（ロジスティック回帰、XGBoost、CatBoost）を訓練および評価する。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースの文の埋め込みと従来のNLP特徴（TF-IDF、BoW）を組み合わせることで、ミソジニスト的つぶやきの検出にどの程度有効であるか。
• RQ2 異なる機械学習モデル（ロジスティック回帰、XGBoost、CatBoost）は、英語のTwitter投稿におけるミソジニスト的コンテンツ分類において、どの程度の性能を示すか。
• RQ3 特定のミソジニスト的カテゴリ（例：誘導的逸脱、支配的態度）は、モデルチューニングを経ても顕著に低い分類性能を示すのはなぜか。
• RQ4 データセットにおけるクラスのアンバランスさが、嫌がらせ発言検出システムの一般化性能および公平性にどの程度影響を及えるか。

主な発見

• Hateminersモデルは、英語Subtask A（バイナリミソジニズム分類）で最高の正解率70.4％を達成し、共有課題で1位を獲得した。
• Subtask Bでは、ミソジニスト的行動および標的タイプのマルチクラス分類を要請しており、最高のシステムがマクロF1スコア0.37を達成し、全体で5位となった。
• モデルの性能は、特に誘導的逸脱や支配的態度といった少数派カテゴリにおいて顕著に低下しており、データのアンバランスさに起因していた。
• Subtask Aではロジスティック回帰が他のモデルを上回ったが、Subtask BではCatBoostが最高の結果を出した。これは、CatBoostがクラスのアンバランスに強く、その点で優位であることを示している。
• バイナリ分類では高い性能を示したが、細分化されたカテゴリ分類には苦戦し、とくにまれな形態や頻度の低いミソジニズムの検出に難済んでいた。
• 文の埋め込み、TF-IDF、BoWベクトルの特徴連結は、個別の特徴セットに比べて検出性能の向上に寄与することが本研究で確認された。