[论文解读] Deep Bayes Factor Scoring for Authorship Verification

Benedikt Boenninghoff, Julian Rupp+2 more|arXiv (Cornell University)|Aug 23, 2020

Authorship Attribution and Profiling参考文献 18被引用 5

一句话总结

本文提出 Deep Bayes Factor Scoring，一种端到端的深度度量学习框架，将孪生神经网络与基于概率的贝叶斯因子评分相结合，用于同人小说文本中的作者身份验证。通过学习主题不变、风格敏感的嵌入表示，并在潜在空间中应用统计评分，该方法在 PAN 2020 作者身份验证挑战赛中取得了最先进性能，在小规模和大规模数据集上均优于所有其他系统。

ABSTRACT

The PAN 2020 authorship verification (AV) challenge focuses on a cross-topic/closed-set AV task over a collection of fanfiction texts. Fanfiction is a fan-written extension of a storyline in which a so-called fandom topic describes the principal subject of the document. The data provided in the PAN 2020 AV task is quite challenging because authors of texts across multiple/different fandom topics are included. In this work, we present a hierarchical fusion of two well-known approaches into a single end-to-end learning procedure: A deep metric learning framework at the bottom aims to learn a pseudo-metric that maps a document of variable length onto a fixed-sized feature vector. At the top, we incorporate a probabilistic layer to perform Bayes factor scoring in the learned metric space. We also provide text preprocessing strategies to deal with the cross-topic issue.

研究动机与目标

• 为解决在同人小说文本中，因主题差异导致传统风格特征失效的跨主题、封闭集作者身份验证挑战。
• 开发一种深度学习系统，学习主题不变、风格敏感的表示，以提升在多样化写作文本主题上的泛化能力。
• 将概率贝叶斯因子评分集成到学习到的度量空间中，实现可靠且校准的验证决策。
• 在保持高判别能力的同时，增强对因体裁、情感或混淆策略引起风格变化的鲁棒性。
• 建立统一的端到端框架，结合度量学习与统计推断，以提升作者身份验证性能。

提出的方法

• 采用孪生神经网络架构，将可变长度文档嵌入为固定大小的特征向量，学习捕捉写作风格的伪度量。
• 通过对比损失进行模型训练，以在嵌入空间中最大化作者间距离并最小化作者内距离。
• 在学习到的嵌入之上添加一个概率层，以计算贝叶斯因子，实现基于统计的验证决策。
• 在训练过程中通过随机重组文档对的方式实施数据增强，以提升训练数据的多样性与鲁棒性。
• 应用文本预处理策略以减少主题相关噪声，提升对风格特征的关注。
• 在测试阶段使用集成推理，通过顺序评估模型以最小化 Tira 平台上的 CPU 内存占用。

实验结果

研究问题

• RQ1 深度度量学习框架能否学习到适用于跨主题作者身份验证的主题不变、风格敏感的表示？
• RQ2 将贝叶斯因子评分集成到学习到的嵌入空间中，是否能提升验证性能与校准效果？
• RQ3 该方法在处理同人小说文本中因主题、情感或体裁引起的风格变化方面效果如何？
• RQ4 通过随机配对重组实现的数据增强是否能提升模型的泛化能力与鲁棒性？
• RQ5 模型的注意力是否聚焦于有意义的语言模式，而非标点符号或拼写错误等表面特征？

主要发现

• 在使用大规模数据集时，该方法在测试集上取得了 0.969 的 AUC，优于 PAN 2020 作者身份验证挑战赛中所有其他系统。
• 使用大规模训练数据的集成模型在测试集上达到 c@1 为 0.928，F1 为 0.936，表现出强大的泛化能力。
• 熵曲线显示，训练过程中作者内差异显著降低，作者间差异显著增加，表明度量学习有效。
• 注意力热图显示，模型关注上下文中的词汇使用与短语重复，而非功能词或标点符号，表明对风格模式具有敏感性。
• 模型对主题变化与体裁差异表现出鲁棒性，表现为在多样化同人小说文本中性能稳定。
• 即使在数据有限的情况下，系统仍表现优异，小规模数据集模型在测试集上达到 AUC 0.940 与 F1 0.906。