[论文解读] Empirical Analysis of Multi-Task Learning for Reducing Model Bias in Toxic Comment Detection

Ameya Vaidya, Feng Mai+1 more|arXiv (Cornell University)|Sep 21, 2019

Hate Speech and Cyberbullying Detection参考文献 39被引用 16

一句话总结

本文提出了一种基于注意力机制的多任务学习模型，联合预测评论毒性与身份提及，以减少对边缘化身份（例如：女同性恋者、黑人、穆斯林）的误报。通过在任务间共享表征并使用自定义加权损失函数，该模型降低了无意偏差——在非毒性身份提及评论上的平均毒性得分比基线模型（包括谷歌的Perspective API）低10%。

ABSTRACT

With the recent rise of toxicity in online conversations on social media platforms, using modern machine learning algorithms for toxic comment detection has become a central focus of many online applications. Researchers and companies have developed a variety of models to identify toxicity in online conversations, reviews, or comments with mixed successes. However, many existing approaches have learned to incorrectly associate non-toxic comments that have certain trigger-words (e.g. gay, lesbian, black, muslim) as a potential source of toxicity. In this paper, we evaluate several state-of-the-art models with the specific focus of reducing model bias towards these commonly-attacked identity groups. We propose a multi-task learning model with an attention layer that jointly learns to predict the toxicity of a comment as well as the identities present in the comments in order to reduce this bias. We then compare our model to an array of shallow and deep-learning models using metrics designed especially to test for unintended model bias within these identity groups.

研究动机与目标

• 解决毒性评论检测中因过度标记非毒性身份提及评论而产生的无意模型偏差（例如：女同性恋者、黑人、穆斯林）。
• 探究联合学习毒性检测与身份识别是否能降低这些身份群体的误报率。
• 使用专门设计的指标评估所提模型与当前最先进的浅层及深层学习模型的性能，以检测隐性偏差。
• 证明结合注意力机制与加权损失函数的多任务学习可提升公平性，同时不牺牲毒性检测性能。
• 提供实证证据表明，当前模型（包括Perspective API）即使未显式训练，仍对某些身份群体表现出可测量的偏差。

提出的方法

• 设计一种多任务学习框架，同时对同一输入中的评论毒性进行预测，并识别特定身份术语（例如：女同性恋者、穆斯林）的存在。
• 集成注意力机制以捕捉长距离依赖关系和词语之间的上下文关联，从而提升对毒性与非毒性评论的区分能力。
• 使用自定义加权损失函数，提高对非毒性身份提及评论的误报预测的惩罚力度，从而促使模型最小化此类错误。
• 在包含1,804,874条评论的大规模数据集上训练模型，数据来自Jigsaw毒性分类中无意偏差挑战赛。
• 使用迁移学习原则微调模型，利用毒性预测头与身份预测头之间的共享表征。
• 通过身份特定的评估指标比较模型性能，包括非毒性与毒性评论模板的平均毒性得分。

实验结果

研究问题

• RQ1 联合学习毒性检测与身份识别是否能降低非毒性身份提及评论的误报率？
• RQ2 所提出的带注意力机制的多任务学习模型在公平性与偏差缓解方面，相较于基线模型（如：CNN、LSTM、逻辑回归）表现如何？
• RQ3 谷歌的Perspective API即使未显式训练，是否仍对特定身份群体表现出无意偏差？
• RQ4 自定义加权损失函数是否能有效降低身份提及的非毒性评论的误报率，同时不损害整体毒性检测性能？
• RQ5 该模型在不同身份群体中的鲁棒性如何，特别是对历史上误报率较高的群体？

主要发现

• 所提多任务学习模型在非毒性身份提及评论上的平均毒性得分相比基线模型（包括谷歌的Perspective API）降低了10%。
• 对于非毒性身份提及评论，该模型从未预测毒性得分超过0.40，表明其对误报有显著缓解。
• 对于毒性评论，该模型始终预测得分高于0.80，表明其对真实毒性保持了高敏感性。
• 该模型在减少无意偏差方面优于浅层与深层学习基线模型，尤其在女同性恋者、黑人、穆斯林和犹太人等身份上表现更优。
• 谷歌的Perspective API对提及“女同性恋者”、“女同性恋者”和“双性恋者”的评论显示出高于预期的毒性得分，表明其对这些身份存在可测量的偏差。
• 注意力机制增强了上下文理解能力，使模型能更有效地区分良性身份提及与实际有毒内容。