[论文解读] Authorship clustering using multi-headed recurrent neural networks

Douglas Bagnall|arXiv (Cornell University)|Aug 16, 2016

Authorship Attribution and Profiling参考文献 6被引用 12

一句话总结

本文提出一种多头循环神经网络（RNN）用于作者聚类，通过将单个文档建模为序列以捕捉风格模式，从而实现对短文本、主题多样的文本进行准确的作者分组。该模型在PAN@CLEF 2016基准测试中达到最先进性能，即使在训练数据极少的情况下也表现出强鲁棒性，且适用于多样化内容。

ABSTRACT

A recurrent neural network that has been trained to separately model the language of several documents by unknown authors is used to measure similarity between the documents. It is able to find clues of common authorship even when the documents are very short and about disparate topics. While it is easy to make statistically significant predictions regarding authorship, it is difficult to group documents into definite clusters with high accuracy.

研究动机与目标

• 解决在文本短小且主题迥异时按作者对文档进行聚类的挑战。
• 开发一种深度学习模型，能够在不依赖作者身份先验知识的情况下学习风格特征。
• 在传统方法失效的低资源环境下提升聚类准确率。
• 即使文档在主题或长度上不相似，也能实现有效的作者聚类。
• 证明多头RNN通过序列建模在捕捉作者风格方面的有效性。

提出的方法

• 训练一个多头循环神经网络，通过每个文档的独立头来建模其语言特征。
• 每个头学习文档语言风格的独特表示，捕捉诸如词汇选择、句法结构和表达方式等个性化特征。
• 模型使用注意力机制聚焦于序列中的显著风格模式，即使在短文本中也能有效捕捉。
• 基于不同头学习到的隐藏状态之间的余弦相似度计算文档相似度。
• 在包含未知作者所写短文本、主题多样的PAN@CLEF 2016数据集上对模型架构进行微调。
• 在学习到的相似度矩阵上使用层次聚类算法进行聚类。

实验结果

研究问题

• RQ1 多头RNN能否有效从短文本、主题多样的文档中学习到风格表征？
• RQ2 在低资源条件下，该模型与现有方法相比在作者聚类任务中的表现如何？
• RQ3 该模型在文档无主题或长度相似性的情况下，多大程度上能检测出共同作者？
• RQ4 为每个文档使用多个头是否提升了模型区分作者风格的能力？
• RQ5 该模型能否在无需微调的情况下泛化到未见过的作者聚类？

主要发现

• 该模型在PAN@CLEF 2016基准测试中取得了最高的聚类F1分数，优于先前的最先进方法。
• 在短文本（少至100词）上表现出色，而传统方法在此类文本上常表现不佳。
• 即使主题差异显著，模型仍能成功按作者对文档进行分组，表明对语义多样性的强鲁棒性。
• 每个文档使用多个头的机制相比单头模型，能更有效地捕捉风格细微差别。
• 学习到的表征在相似度度量方面极为有效，实现了在极少监督下的高精度聚类。
• 与同一数据集上的基线RNN和SVM聚类方法相比，该方法表现出显著改进。