[论文解读] Authorship Verification based on Compression-Models

Oren Halvani, Christian Winter+1 more|arXiv (Cornell University)|Jun 1, 2017

Authorship Attribution and Profiling参考文献 8被引用 13

一句话总结

本文提出了一种基于压缩模型的新型轻量级文本作者识别方法，无需依赖机器学习、自然语言处理或特征工程，即可实现具有竞争力的性能。通过使用压缩算法、相似性度量（CBC）和阈值，该方法在多种作者识别基准测试中实现了快速运行时间与优异结果，涵盖跨主题和短文本等复杂情况。

ABSTRACT

Compression models represent an interesting approach for different classification tasks and have been used widely across many research fields. We adapt compression models to the field of authorship verification (AV), a branch of digital text forensics. The task in AV is to verify if a questioned document and a reference document of a known author are written by the same person. We propose an intrinsic AV method, which yields competitive results compared to a number of current state-of-the-art approaches, based on support vector machines or neural networks. However, in contrast to these approaches our method does not make use of machine learning algorithms, natural language processing techniques, feature engineering, hyperparameter optimization or external documents (a common strategy to transform AV from a one-class to a multi-class classification problem). Instead, the only three key components of our method are a compressing algorithm, a dissimilarity measure and a threshold, needed to accept or reject the authorship of the questioned document. Due to its compactness, our method performs very fast and can be reimplemented with minimal effort. In addition, the method can handle complicated AV cases where both, the questioned and the reference document, are not related to each other in terms of topic or genre. We evaluated our approach against publicly available datasets, which were used in three international AV competitions. Furthermore, we constructed our own corpora, where we evaluated our method against state-of-the-art approaches and achieved, in both cases, promising results.

研究动机与目标

• 开发一种简单但有效的作者识别方法，避免使用复杂的机器学习和自然语言处理流程。
• 解决传统方法难以处理的挑战性作者识别场景，如跨主题或跨体裁文档以及短文本。
• 提供一种快速、高效且易于复现的作者识别方法，实现最小的实现开销。
• 在公开的作者识别数据集和新构建的语料库上评估该方法，证明其在多种场景下的鲁棒性与竞争力，优于当前最先进方法。

提出的方法

• 该方法使用压缩算法（如PPMd）对参考文档和待验证文档进行压缩，然后基于压缩率计算相似性度量。
• 采用CBC（基于压缩的距离）度量作为核心相似性指标，通过比较合并文档的压缩长度与单独压缩长度之和来衡量差异。
• 通过经验确定一个阈值，用于判断待验证文档是否与参考作者的写作风格匹配。
• 该方法本质上属于懒惰学习，无需模型训练或特征提取，仅依赖于压缩和距离计算。
• 该方法设计轻量且快速，500个案例的评估仅需在标准硬件上数秒即可完成。
• 该方法对参考文档与待验证文档之间在主题和体裁上的不匹配具有鲁棒性，因其聚焦于压缩所捕捉的写作风格模式。

实验结果

研究问题

• RQ1 基于压缩的方法是否能在不使用机器学习或自然语言处理技术的情况下，实现具有竞争力的作者识别性能？
• RQ2 该方法在涉及跨主题或跨体裁文档以及短文本的挑战性作者识别场景中表现如何？
• RQ3 不同压缩算法和相似性度量对识别准确率有何影响？
• RQ4 在多个基准测试中，该方法在运行时间和准确率方面与最先进作者识别方法相比表现如何？
• RQ5 该方法是否能在多样化的语料库中泛化，包括主题不匹配和文本长度有限的情况？

主要发现

• 在所有语料库中，PPMd压缩器在识别准确率方面优于所有其他测试的压缩器。
• CBC相似性度量在所有测试的压缩器和语料库中均取得了最高且最稳定的性能结果。
• 该方法在五组PAN评估语料库中的四组中达到顶级性能，排名位居最佳方法之列。
• 在新构建的语料库中，该方法在跨主题和短文本场景下表现优于或匹配最先进方法。
• 该方法在标准笔记本电脑上仅用数秒便处理完500个作者识别案例，是所评估方法中最快之一。
• 该方法展现出强大的泛化能力，在具有挑战性的语料库（如{{\mathcal{C}}_{\textrm{PAN14es}}}_{\textrm{Eval}}和{{\mathcal{C}}_{\textrm{Reddit}}}_{\textrm{Eval}}）中仍保持高AUC和c@1得分，多个数据集的AUC值超过0.85。