[论文解读] Character-level and Multi-channel Convolutional Neural Networks for Large-scale Authorship Attribution

Sebastian Ruder, Parsa Ghaffari+1 more|arXiv (Cornell University)|Sep 21, 2016

Authorship Attribution and Profiling参考文献 19被引用 87

一句话总结

本文提出了一种基于字符级别的多通道卷积神经网络（CNNs），用于大规模作者归属任务，通过结合字符级别的模式与词级别的语义信息，提升准确率与预测速度。该方法在五个数据集中的四个上达到最先进性能，首次将该方法应用于Reddit数据集，并公开发布了新的Twitter与Reddit数据集以支持后续研究。

ABSTRACT

Convolutional neural networks (CNNs) have demonstrated superior capability for extracting information from raw signals in computer vision. Recently, character-level and multi-channel CNNs have exhibited excellent performance for sentence classification tasks. We apply CNNs to large-scale authorship attribution, which aims to determine an unknown text's author among many candidate authors, motivated by their ability to process character-level signals and to differentiate between a large number of classes, while making fast predictions in comparison to state-of-the-art approaches. We extensively evaluate CNN-based approaches that leverage word and character channels and compare them against state-of-the-art methods for a large range of author numbers, shedding new light on traditional approaches. We show that character-level CNNs outperform the state-of-the-art on four out of five datasets in different domains. Additionally, we present the first application of authorship attribution to reddit.

研究动机与目标

• 解决大规模作者归属任务中的挑战，即候选作者数量达数千人时，传统方法在推理阶段计算成本过高的问题。
• 探究字符级别与多通道CNN在捕捉标点符号、空格、n-gram等风格特征方面的有效性，这些特征可作为作者归属的指示信号。
• 相比SCAP与Imposters等最先进方法（其推理需数小时甚至数天），提升预测速度与可扩展性。
• 提出并评估一种混合CNN模型，结合字符与词输入通道，以联合利用风格信息与主题信息。
• 公开发布新的大规模Twitter与Reddit数据集，以支持未来在线作者归属研究。

提出的方法

• 将卷积神经网络（CNNs）应用于原始字符序列，实现端到端学习风格模式，无需手工设计特征。
• 采用多通道架构，设置独立的字符与词输入通道，其中词嵌入可为静态或非静态，以捕捉语义与风格信号。
• 使用随机梯度下降与交叉熵损失训练CNNs，优化最终的Softmax层以实现多作者分类。
• 在卷积层后使用最大池化操作，从序列中提取显著特征，随后通过全连接层进行分类。
• 采用Dropout与L2正则化防止过拟合，尤其针对每类样本数量有限（每位作者仅数百个训练样本）的情况。
• 比较不同输入通道组合（仅字符、仅词、混合）的性能，以评估各模态的贡献。

实验结果

研究问题

• RQ1 在涵盖不同领域的大规模作者归属任务中，字符级别CNN是否能超越传统n-gram方法（如SCAP与Imposters）？
• RQ2 在多通道CNN架构中，将字符与词通道结合使用，相较于单通道模型，性能如何变化？
• RQ3 当候选作者数量增加时，基于CNN的方法在预测速度与准确率方面的可扩展性如何？
• RQ4 字符级别特征（如标点符号、空格与特殊字符）在区分作者风格方面贡献有多大？
• RQ5 CNN是否能有效泛化至低资源、真实世界中的在线文本（如Reddit与Twitter评论），这些文本的风格模式与正式领域存在差异？

主要发现

• 字符级别CNN在五个数据集中的四个（涵盖博客、Twitter与Reddit）上达到最先进性能，优于SCAP与Imposters。
• 混合字符-词CNN模型优于仅字符或仅词的模型，尤其在博客数据集上表现更优，因主题内容是区分性因素。
• CNN的推理预测在GPU上几乎瞬时完成，而SCAP与Imposters则需CPU数小时甚至数天，因此CNN更适合实时在线应用。
• 在Twitter数据集上，SCAP表现优于CNN，因其对离散n-gram（如话题标签与用户提及）具有强大判别能力，表明CNN在高变异性、稀疏性领域可能模糊边界。
• SCAP的最优配置为14,000个词元，显著高于以往研究，提示未来工作应探索更大范围的词元配置。
• 作者公开发布两个新数据集——Twitter与Reddit，包含数千条用户评论，为未来在线作者归属研究提供支持。