[论文解读] Hierarchical CVAE for Fine-Grained Hate Speech Classification

Jing Qian, Mai ElSherief+2 more|arXiv (Cornell University)|Aug 31, 2018

Hate Speech and Cyberbullying Detection参考文献 22被引用 5

一句话总结

本文提出了一种分层条件变分自编码器（HCVAE）用于细粒度仇恨言论分类，利用仇恨群体类别（意识形态）信息，在40种不同仇恨群体中提升了分类准确率。该模型在微F1指标上相比基线判别模型最高提升10%，得益于其对潜在表征的概率建模，在小规模训练数据集上表现出更强的鲁棒性。

ABSTRACT

Existing work on automated hate speech detection typically focuses on binary classification or on differentiating among a small set of categories. In this paper, we propose a novel method on a fine-grained hate speech classification task, which focuses on differentiating among 40 hate groups of 13 different hate group categories. We first explore the Conditional Variational Autoencoder (CVAE) as a discriminative model and then extend it to a hierarchical architecture to utilize the additional hate category information for more accurate prediction. Experimentally, we show that incorporating the hate category information for training can significantly improve the classification performance and our proposed model outperforms commonly-used discriminative models.

研究动机与目标

• 解决在粗粒度二元或三分类之外的细粒度仇恨言论分类挑战。
• 探索条件变分自编码器（CVAE）作为文本分类的判别模型的可行性，尽管其原始设计为生成模型。
• 通过整合分层仇恨群体类别信息，提升在低资源数据设置下的分类鲁棒性。
• 开发一种能够捕捉具有相同意识形态的仇恨群体之间细微语义差异的模型。
• 基于真实世界仇恨群体数据，建立细粒度仇恨言论分类的新基准。

提出的方法

• 本文将CVAE框架扩展为分层架构，以匹配仇恨群体及其意识形态类别的分层结构。
• 模型将潜在变量分布同时基于输入推文及其关联的仇恨群体类别进行条件化，从而实现语义特征的更好解耦。
• 采用后验推理网络，基于输入和标签建模潜在表征；同时使用先验网络，基于类别信息引导生成过程。
• 分层结构使模型能够利用子群体之间的共享意识形态模式，从而在罕见类别上提升泛化能力。
• 训练目标通过优化变分下界（ELBO），包含重构项与KL散度项，并采用加权采样方法缓解类别不平衡问题。
• 模型通过随机梯度下降进行端到端训练，推理阶段在测试时采用后验近似进行推断。

实验结果

研究问题

• RQ1 尽管CVAE最初是作为生成模型设计的，其基于CVAE的模型是否能在细粒度仇恨言论分类中实现具有竞争力的性能？
• RQ2 在40类细粒度仇恨言论数据集上，整合仇恨群体类别（意识形态）信息在多大程度上提升了分类性能？
• RQ3 当训练数据有限时，分层CVAE模型是否比标准判别模型具有更好的泛化能力？
• RQ4 该模型在多大程度上通过将预测对齐到正确的意识形态类别而非精确的群体，来纠正误分类？
• RQ5 模型的主要失败模式是什么？类别不平衡和数据噪声在多大程度上影响了性能？

主要发现

• 所提出的分层CVAE（HCVAE）相比基线模型（包括Bi-LSTM和Char-CNN）在Micro-F1指标上最高提升10%。
• 在训练数据较少时，CVAE-based模型相比判别模型表现出更强的鲁棒性，低资源群体的性能下降更小。
• HCVAE通过预测正确的意识形态类别来纠正误分类实例，80%的误分类预测落在与真实标签相同的类别中。
• 对于训练样本少于1,000条的群体，模型性能显著下降，表明类别不平衡仍是主要挑战。
• 错误分析显示，噪声或模糊的推文——尤其是具有强烈意识形态相似性的推文——会导致同一类别内的群体之间发生误分类，例如新纳粹与KKK群体之间。
• HCVAE在所有指标上均优于标准CVAE，表明通过意识形态标签提供的分层监督能有效增强对细粒度仇恨群体的区分能力。