[论文解读] Author Identification using Multi-headed Recurrent Neural Networks

Douglas Bagnall|arXiv (Cornell University)|Jun 16, 2015

Authorship Attribution and Profiling参考文献 6被引用 44

一句话总结

本文提出一种多头循环神经网络用于作者识别，其中共享的循环层用于建模通用语言模式，而多个独立的输出头则专门学习每位作者的风格特征。该方法在 PAN 2015 挑战赛中两项语言任务上取得最先进性能，通过有效平衡通用语言建模与作者特异性风格学习，实现优异表现。

ABSTRACT

Recurrent neural networks (RNNs) are very good at modelling the flow of text, but typically need to be trained on a far larger corpus than is available for the PAN 2015 Author Identification task. This paper describes a novel approach where the output layer of a character-level RNN language model is split into several independent predictive sub-models, each representing an author, while the recurrent layer is shared by all. This allows the recurrent layer to model the language as a whole without over-fitting, while the outputs select aspects of the underlying model that reflect their author's style. The method proves competitive, ranking first in two of the four languages.

研究动机与目标

• 解决作者识别任务中每位作者训练数据有限的挑战。
• 通过在作者间共享循环表示，提升作者识别的泛化能力。
• 使模型能够在小规模语料上学习作者特异性风格特征，同时避免过拟合。
• 开发一种可扩展且高效的架构，将语言建模与作者预测分离。
• 在多种语言上评估该方法在 PAN 2015 作者识别基准上的表现。

提出的方法

• 使用字符级别的循环神经网络（RNN）对所有训练文本中的序列语言模式进行建模。
• 输出层被划分为多个独立的头，每个头专门用于预测特定作者的下一个字符。
• 循环隐藏层在所有头之间共享，从而实现对通用语言结构的联合学习。
• 每个输出头通过关注共享隐藏表示的不同方面，学习作者特异性的风格偏好。
• 模型通过交叉熵损失进行端到端训练，每个头为其关联作者预测下一个字符的概率分布。
• 推理阶段，模型选择给定文本序列中似然最高的头。

实验结果

研究问题

• RQ1 当每位作者的训练数据有限时，共享的循环层是否能提升作者识别的泛化能力？
• RQ2 将作者特异性预测头与共享语言模型解耦，是否能提升低资源作者识别任务的性能？
• RQ3 与标准 RNN 及其他神经网络模型相比，多头 RNN 架构在 PAN 2015 基准上的表现如何？
• RQ4 在哪些语言中，多头方法表现出最显著的性能提升？
• RQ5 模型能否在小规模作者专属语料上有效学习风格差异，而不过度拟合？

主要发现

• 该模型在 PAN 2015 作者识别挑战赛中评估的四种语言中的两种中排名第一。
• 多头架构通过利用共享语言建模同时保留作者特异性预测能力，优于标准 RNN。
• 由于循环层中有效的权重共享，该方法在低资源作者识别任务中表现出强大的泛化能力。
• 该方法在每位作者训练数据有限的语言中尤为有效，此时过拟合是主要挑战。
• 结果表明，分离预测头同时共享循环编码器，可同时提升性能与鲁棒性。
• 该模型的成功表明，多头 RNN 是低数据环境下作者识别的一种可行且高效的架构。