[论文解读] Classifying Constructive Comments

Varada Kolhatkar, Nithum Thain+3 more|arXiv (Cornell University)|Apr 11, 2020

Topic Modeling被引用 8

一句话总结

本文介绍了构造性评论语料库（C3），这是一个包含12,000条标注新闻评论的数据集，其标签基于‘构造性’——即高质量、具有贡献价值的评论。通过使用传统机器学习与深度学习模型（包括BERT），作者证明其模型能够有效分类构造性，且不受评论长度影响，并可在不同领域间泛化，为在线内容管理提供一种主动替代方案，以取代传统的毒性过滤。

ABSTRACT

We introduce the Constructive Comments Corpus (C3), comprised of 12,000 annotated news comments, intended to help build new tools for online communities to improve the quality of their discussions. We define constructive comments as high-quality comments that make a contribution to the conversation. We explain the crowd worker annotation scheme and define a taxonomy of sub-characteristics of constructiveness. The quality of the annotation scheme and the resulting dataset is evaluated using measurements of inter-annotator agreement, expert assessment of a sample, and by the constructiveness sub-characteristics, which we show provide a proxy for the general constructiveness concept. We provide models for constructiveness trained on C3 using both feature-based and a variety of deep learning approaches and demonstrate that these models capture general rather than topic- or domain-specific characteristics of constructiveness, through domain adaptation experiments. We examine the role that length plays in our models, as comment length could be easily gamed if models depend heavily upon this feature. By examining the errors made by each model and their distribution by length, we show that the best performing models are less correlated with comment length.The constructiveness corpus and our experiments pave the way for a moderation tool focused on promoting comments that make a contribution, rather than only filtering out undesirable content.

研究动机与目标

• 开发一个数据集和模型，用于识别在线讨论中的构造性评论，从而超越被动的毒性过滤。
• 通过详细的标注方案和子特征分类法，对构造性进行定义与操作化。
• 评估基于C3训练的模型是否捕捉到构造性的通用、领域无关特征，而非偶然相关性。
• 研究评论长度是否影响模型性能，以及顶尖模型在不同长度下是否仍保持有效性。
• 探索将构造性分类作为工具，用于促进在线社区中的高质量对话。

提出的方法

• 标注员使用详细的子特征分类法对12,000条新闻评论的构造性进行标注，并通过标注者间一致性与专家评估验证了标注质量。
• 基于TF-IDF与逻辑回归，使用词汇与句法特征训练了基于特征的模型。
• 采用CNN、双向LSTM及微调后的BERT架构实现深度学习模型，并使用预训练的GloVe与BERT嵌入。
• 模型通过交叉熵损失函数、使用0.001初始学习率的Adam优化器以及0.5的dropout正则化进行训练与评估。
• 通过领域适应实验，测试模型在不同评论区与主题间的泛化能力。
• 通过按评论长度对模型预测进行分层，开展错误分析，以评估对长度操纵的鲁棒性。

实验结果

研究问题

• RQ1 能否在众包工作者与专家之间，开发并验证一个一致且可靠的构造性标注方案？
• RQ2 构造性的子特征是否可作为构造性这一更广泛概念的有效代理？
• RQ3 在C3上训练的机器学习模型能否在不同领域与主题间泛化，而非过度拟合于特定内容？
• RQ4 评论长度在多大程度上影响模型性能？顶尖模型是否在所有长度下均保持有效性？
• RQ5 能否将构造性分类模型用作主动内容管理工具，以促进高质量内容贡献？

主要发现

• C3数据集实现了高标注者间一致性与专家验证，证实了标注方案与子特征分类法的可靠性。
• 表现最佳的模型，尤其是基于BERT的模型，在不同领域间展现出强大泛化能力，表明其捕捉到了构造性的通用特征，而非特定主题模式。
• 错误分析显示，顶尖模型在所有评论长度类别中均保持高性能，表明其对长度操纵具有鲁棒性。
• 构造性的子特征（如推理、证据、视角）被证明具有预测性，并为整体构造性标签提供了有意义的代理。
• 领域适应实验表明，一个领域上训练的模型可有效分类另一领域的构造性，支持模型的可迁移性与实际应用潜力。
• C3数据集与训练好的模型已公开，可支持关于积极内容管理与高质量评论促进的进一步研究。