[論文レビュー] Hierarchical CVAE for Fine-Grained Hate Speech Classification

Jing Qian, Mai ElSherief+2 more|arXiv (Cornell University)|Aug 31, 2018

Hate Speech and Cyberbullying Detection参考文献 22被引用数 5

ひとこと要約

本稿では、40の異なる嫌がらせグループに対して分類精度を向上させるために、嫌がらせグループのカテゴリー（イデオロギー）情報を活用する階層的条件付き変分オートエンコーダー（HCVAE）を提案する。モデルは、潜在表現の確率的モデリングにより、小規模な訓練データセットでもより高い頑健性を示し、ベースラインの判別モデルと比較してマイクロ-F1で最大10%の向上を達成した。

ABSTRACT

Existing work on automated hate speech detection typically focuses on binary classification or on differentiating among a small set of categories. In this paper, we propose a novel method on a fine-grained hate speech classification task, which focuses on differentiating among 40 hate groups of 13 different hate group categories. We first explore the Conditional Variational Autoencoder (CVAE) as a discriminative model and then extend it to a hierarchical architecture to utilize the additional hate category information for more accurate prediction. Experimentally, we show that incorporating the hate category information for training can significantly improve the classification performance and our proposed model outperforms commonly-used discriminative models.

研究の動機と目的

• 粗い二値または三段階のカテゴリーを超えた微細分類の課題に対処すること。
• 生成モデルとして設計されたが、分類タスクに適応できる条件付き変分オートエンコーダー（CVAE）の有用性を検討すること。
• 階層的な嫌がらせグループのカテゴリー情報を組み込むことで、低データ環境下での分類の頑健性を向上させること。
• 共通するイデオロギーを持つ嫌がらせグループ間の微細な意味的差異を捉えるモデルの開発。
• 現実世界の嫌がらせグループデータを用いて、微細分類のための新たなベンチマークを確立すること。

提案手法

• 嫌がらせグループおよびそのイデオロギー的カテゴリーの階層的構造を反映するように、CVAEフレームワークを階層的アーキテクチャに拡張する。
• 潜在変数の分布を入力となるツイートと関連する嫌がらせグループのカテゴリーの両方に条件づけることで、意味的特徴のより良い分離を実現する。
• 入力とラベルを前提とした事後分布推論ネットワークと、カテゴリーに条件づけられた事前分布推論ネットワークを用い、生成をガイドする。
• 階層的構造により、サブグループ間で共有されるイデオロギー的パターンを活用でき、希少クラスへの一般化性能が向上する。
• 再構成誤差とKLダイバージェンスの両項を含む変分下界（ELBO）を最適化する訓練目的関数を採用し、クラス不均衡の是正に重み付きサンプリングを用いる。
• 確率的勾配降下法を用いてエンドツーエンドで訓練し、テスト時には事後分布近似による推論を実行する。

実験結果

リサーチクエスチョン

• RQ1 生成モデルとして設計されたが、分類タスクに適したCVAEベースのモデルが、微細分類タスクで競争的な性能を達成できるか。
• RQ2 嫌がらせグループのカテゴリー（イデオロギー）情報を組み込むことで、40クラスの微細分類データセットにおける分類性能がどの程度向上するか。
• RQ3 訓練データが限られた状況下で、階層的CVAEモデルは標準的な判別モデルよりも一般化性能が優れているか。
• RQ4 予測を正確なイデオロギー的カテゴリーに一致させるように修正することで、誤分類の是正がどの程度達成できるか。
• RQ5 主な失敗モードは何か。また、クラス不均衡とデータノイズは性能にどのように影響を与えるか。

主な発見

• 提案された階層的CVAE（HCVAE）は、Bi-LSTM や Char-CNN といったベースラインモデルと比較して、マイクロ-F1スコアを最大10%向上させた。
• 訓練データが少ない状況下でも、CVAEベースのモデルは判別モデルよりも頑健であることが示され、リソースが限られたグループの性能低下が顕著に抑制された。
• HCVAEは誤分類されたインスタンスを、正解のイデオロギー的カテゴリーに一致させる方向に補正しており、80%の誤分類予測が正解と同じカテゴリーに属していた。
• 1,000件未満の訓練インスタンスを持つグループでは、モデルの性能が著しく低く、クラス不均衡が依然として大きな課題であることが示された。
• 誤差解析から、特に強いイデオロギー的類似性を示すツイート—例としてネオナチとKKKグループ間—では、ノイズや曖昧さが原因でグループ間の誤分類が生じやすいことが明らかになった。
• HCVAEはすべての指標で標準CVAEを上回り、イデオロギーのラベルによる階層的監視が、微細な嫌がらせグループ間の識別を強化していることが示された。