[论文解读] Assessing the Stylistic Properties of Neurally Generated Text in Authorship Attribution

Enrique Manjavacas, Jeroen De Gussem+2 more|arXiv (Cornell University)|Aug 18, 2017

Authorship Attribution and Profiling参考文献 20被引用 3

一句话总结

本文通过循环神经语言模型（RNNLM）和n-gram语言模型（NGLM）评估神经生成文本在作者归属任务中的风格保真度。研究发现，尽管RNNLM生成的文本风格更模糊、更难归属，但在数据增强场景中显著提升了性能，通过引入风格细腻、多样化的训练样本，增强了分类器的泛化能力，超越了仅使用真实数据的效果。

ABSTRACT

Recent applications of neural language models have led to an increased interest in the automatic generation of natural language. However impressive, the evaluation of neurally generated text has so far remained rather informal and anecdotal. Here, we present an attempt at the systematic assessment of one aspect of the quality of neurally generated text. We focus on a specific aspect of neural language generation: its ability to reproduce authorial writing styles. Using established models for authorship attribution, we empirically assess the stylistic qualities of neurally generated text. In comparison to conventional language models, neural models generate fuzzier text that is relatively harder to attribute correctly. Nevertheless, our results also suggest that neurally generated text offers more valuable perspectives for the augmentation of training data.

研究动机与目标

• 系统评估神经生成文本在作者归属背景下的风格特性。
• 比较神经语言模型（RNNLM）与传统n-gram语言模型（NGLM）在保留作者风格方面的表现。
• 评估神经生成文本是否可作为有效的训练数据增强手段用于作者归属，尤其针对参考数据有限的作者。
• 探究生成文本在风格保真度与多样性之间的权衡及其对分类器性能的影响。

提出的方法

• 使用RNNLM和NGLM架构进行字符级语言建模生成文本。
• 通过温度控制的多项式采样从语言模型输出分布中采样，以平衡多样性与流畅性。
• 在真实文本、生成文本以及真实+生成数据组合上训练作者归属分类器，以评估性能。
• 使用归一化的n-gram频率（2–4阶）作为文档向量化和主成分分析（PCA）可视化的风格特征。
• 采用Jaccard相似性度量多个作者的原始文本与生成文本之间的词汇重叠。
• 应用主成分分析（PCA）可视化真实文本与生成文本样本在风格分布上的变化。

实验结果

研究问题

• RQ1 基于单一作者作品集生成的文本，在多大程度上仍能通过标准作者归属方法被正确归属为原始作者？
• RQ2 RNNLM生成的文本在与原始真实文本的相似性方面，其风格质量相较于NGLM生成的文本如何？
• RQ3 在训练数据增强中引入神经生成文本后，作者归属性能在哪些方面得到提升？
• RQ4 生成文本在多大程度上保留了原始作者的词汇与句法特征，通过n-gram重叠和分布相似性进行衡量？

主要发现

• RNNLM生成的文本与真实文本相比，n-gram频率分布存在显著差异，表明其风格模糊，直接归属准确率降低。
• NGLM生成的文本与原始语料的n-gram频率分布高度一致，因此在单独使用时归属准确率更高。
• 在数据增强设置中，RNNLM生成的数据相比仅使用真实数据，显著提升了归属性能，且优于NGLM生成数据在此场景下的表现。
• Jaccard相似性分析显示，NGLM生成文本与真实文本的词汇重叠远高于RNNLM生成文本，证实后者风格偏离更明显。
• PCA可视化结果表明，RNNLM生成数据在风格空间中占据更广、更分散的区域，表明其具有更高的多样性与复杂性。
• 结果表明，RNNLM输出的‘模糊性’引入了有价值的风格变异，当用于数据增强时，可提升分类器的泛化能力。