[论文解读] The Importance of Suppressing Domain Style in Authorship Analysis

Sebastian Bischoff, Niklas Deckers+6 more|arXiv (Cornell University)|May 29, 2020

Authorship Attribution and Profiling参考文献 37被引用 20

一句话总结

本文提出领域对抗训练，以抑制写作风格表征中的领域特异性风格，表明字符三元组特征会严重混淆领域与作者风格。该方法将领域迁移下的准确率下降从55.4个百分点减少至仅3.6个百分点，优于启发式特征选择方法，实现了鲁棒且领域不变的作者归属识别。

ABSTRACT

The prerequisite of many approaches to authorship analysis is a representation of writing style. But despite decades of research, it still remains unclear to what extent commonly used and widely accepted representations like character trigram frequencies actually represent an author's writing style, in contrast to more domain-specific style components or even topic. We address this shortcoming for the first time in a novel experimental setup of fixed authors but swapped domains between training and testing. With this setup, we reveal that approaches using character trigram features are highly susceptible to favor domain information when applied without attention to domains, suffering drops of up to 55.4 percentage points in classification accuracy under domain swapping. We further propose a new remedy based on domain-adversarial learning and compare it to ones from the literature based on heuristic rules. Both can work well, reducing accuracy losses under domain swapping to 3.6% and 3.9%, respectively.

研究动机与目标

• 探究常用写作风格特征（如字符三元组频率）是否无意中捕捉了领域特异性风格而非作者特异性风格。
• 评估当训练与测试发生在不同领域时，领域风格对作者归属模型的污染程度。
• 开发一种通过在特征学习过程中抑制领域特异性信号来学习领域不变写作风格表征的方法。
• 比较领域对抗训练与启发式特征选择在减少领域偏差的同时保持作者区分能力的表现。
• 在未见领域（如粉丝小说中的不同体裁或粉丝圈）上验证所提方法的鲁棒性。

提出的方法

• 提出一种新颖的实验设置：固定作者但交换训练与测试的领域，以隔离领域风格的干扰。
• 采用带有领域对抗头的深度神经网络，促使风格编码器生成对领域标签不变的嵌入表示。
• 在反向传播中使用梯度反转，训练编码器以最小化领域分类器的准确率，同时最大化作者分类性能。
• 训练一个风格编码器从文本中提取写作风格特征，随后通过一个领域判别器预测输入的来源领域。
• 通过优化双重目标实施对抗训练：实现准确的作者归属与差的领域预测。
• 将对抗方法与基于低领域相关性的启发式特征选择方法进行对比。

实验结果

研究问题

• RQ1 在作者归属分析中，传统字符三元组特征在多大程度上实际代表作者风格而非领域特异性风格？
• RQ2 当测试领域与训练领域不同时，使用标准特征集的作者归属性能会下降多少？
• RQ3 领域对抗训练能否有效抑制领域特异性风格信号，同时保留作者特异性风格表征？
• RQ4 领域对抗训练与启发式特征选择在减少领域偏差方面的性能表现如何比较？
• RQ5 所学习的风格表征在多大程度上能泛化到未见领域（如新体裁或新粉丝圈）？

主要发现

• 基于字符三元组的模型在测试领域与训练领域不同时，作者归属准确率最高下降55.4个百分点，表明存在强烈的领域风格混淆。
• 所提出的领域对抗训练方法将领域迁移下的准确率损失降低至仅3.6个百分点，显著优于标准特征模型。
• 基于低领域相关性的启发式特征选择方法也将准确率损失降低至3.9个百分点，表现出较强性能且复杂度更低。
• 对抗方法与启发式方法在未见领域（如粉丝小说中的新粉丝圈）上均表现出高泛化能力，准确率约为92%。
• 当在未见作者与领域上微调时，领域判别器的准确率分别降至51.6%（编码器1）和49.9%（编码器2），证实领域信息已被有效抑制。
• 研究结果表明，传统写作风格表征极易受到领域风格干扰，挑战了三元组频率能可靠捕捉作者风格的假设。