[论文解读] LSTMs with Attention for Aggression Detection

Nishant Nikhil, Ramit Pahwa+2 more|arXiv (Cornell University)|Jul 16, 2018

Hate Speech and Cyberbullying Detection参考文献 15被引用 13

一句话总结

本文提出了一种结合注意力机制的LSTM模型，用于社交媒体文本中的攻击性检测，利用序列建模和动态词重要性加权。该模型在TRAC 2018共享任务的印地语子任务中分别获得第6名和第4名，在英语子任务中分别获得第17名和第10名，表现出色且仅需极少的特征工程。

ABSTRACT

In this paper, we describe the system submitted for the shared task on Aggression Identification in Facebook posts and comments by the team Nishnik. Previous works demonstrate that LSTMs have achieved remarkable performance in natural language processing tasks. We deploy an LSTM model with an attention unit over it. Our system ranks 6th and 4th in the Hindi subtask for Facebook comments and subtask for generalized social media data respectively. And it ranks 17th and 10th in the corresponding English subtasks.

研究动机与目标

• 开发一种神经网络模型，用于分类社交媒体内容中的攻击性，特别是Facebook评论和一般社交媒体文本。
• 解决在短篇、非正式文本中检测明显和隐性攻击性语言的挑战。
• 通过结合LSTM的序列理解能力与注意力机制对关键词汇的关注，提升分类性能。
• 在包含多语言（英语和印地语）数据的共享任务上评估模型，涵盖Facebook内容和通用社交媒体内容。

提出的方法

• 模型使用100维词嵌入层，随后是正则化输入表示的dropout层。
• 具有100个隐藏单元的LSTM层处理序列，通过门控记忆单元捕捉长期依赖关系。
• 注意力机制使用学习得到的权重向量计算词级重要性得分，生成加权上下文向量。
• 注意力输出通过带有softmax激活函数的全连接层，预测类别概率。
• 模型使用Adam优化器、0.001的初始学习率和分类交叉熵损失进行训练。
• 文本预处理包括通过Ekphrasis对URL、电子邮件和特殊标记进行归一化，采用社交媒体分词、标点符号移除、拼写纠正和词形还原。

实验结果

研究问题

• RQ1 LSTM结合注意力机制是否能有效检测短篇、非正式社交媒体文本中的攻击性？
• RQ2 注意力机制如何提升模型区分明显攻击性、隐性攻击性和非攻击性内容的能力？
• RQ3 dropout率和序列长度对模型泛化能力和性能有何影响？
• RQ4 与使用手工特征的随机森林等传统分类器相比，所提模型表现如何？

主要发现

• 在印地语Facebook子任务中，模型的加权F1得分为0.6032，在20支队伍中排名第6。
• 在印地语通用社交媒体子任务中，模型F1得分为0.4703，在20支队伍中排名第4。
• 在英语Facebook子任务中，模型F1得分为0.5548，排名第17，显著优于随机基线（0.3535）。
• 模型在区分非攻击性与攻击性内容方面表现最佳，但在区分明显攻击性和隐性攻击性评论方面表现较弱。
• 使用更高的dropout率（0.3）提升了泛化能力，使英语社交媒体任务的F1从0.5304提升至0.5548。
• 注意力机制帮助模型聚焦于关键词汇，提升了性能，优于仅依赖手工特征的基线模型。