[论文解读] Leveraging Discourse Information Effectively for Authorship Attribution

Su Wang, Elisa Ferracane+1 more|arXiv (Cornell University)|Sep 7, 2017

Authorship Attribution and Profiling参考文献 20被引用 6

一句话总结

本文提出了一种新颖的论述嵌入方法，将源自语法关系或修辞结构理论（RST）关系的全局论述特征整合到字符级卷积神经网络（CNN）中，用于作者归属。通过建模完整的指代链并学习论述转换的密集嵌入，该方法实现了最先进性能，优于传统的概率向量方法和局部特征化方案。

ABSTRACT

We explore techniques to maximize the effectiveness of discourse information in the task of authorship attribution. We present a novel method to embed discourse features in a Convolutional Neural Network text classifier, which achieves a state-of-the-art result by a substantial margin. We empirically investigate several featurization methods to understand the conditions under which discourse features contribute non-trivial performance gains, and analyze discourse embeddings.

研究动机与目标

• 研究论述信息如何被有效特征化并整合到最先进的深度学习模型中以实现作者归属。
• 确定全局论述建模（捕捉整个实体轨迹）是否优于局部、成对的句子级建模。
• 评估论述嵌入与传统的论述特征概率向量表示法的有效性。
• 理解指代链和论述结构（例如RST树）在提升分类性能中的作用。
• 识别论述特征提供非平凡增益的条件，特别是与文本长度和体裁的关系。

提出的方法

• 通过构建实体网格来对论述进行特征化，以追踪涉及显著实体的所有句子对之间的语法关系（例如主语、宾语）或RST论述关系（例如解释、结果）。
• 通过处理每个实体的完整关系序列实现全局特征化，保留指代链结构，与仅考虑相邻句子对的局部特征化形成对比。
• 通过在输入层将论述嵌入馈入并行的CNN分支，而非在输出处拼接，将论述特征整合到字符级CNN分类器中。
• 使用词大小的卷积滤波器学习论述转换的层次表示，使模型能够通过学习的权重捕捉关系之间的依赖性。
• 使用t-SNE可视化分析学习到的论述嵌入结构，并评估语义相似的关系是否聚集在一起。
• 比较使用论述概率向量（传统方法）与学习到的论述嵌入（所提方法）的模型性能，输入包括语法关系和RST关系。

实验结果

研究问题

• RQ1 全局论述特征化（建模整个实体轨迹）是否优于仅考虑相邻句子对的局部特征化？
• RQ2 通过CNN学习到的论述嵌入是否能在作者归属中优于传统的论述概率向量？
• RQ3 论述信息的引入如何影响短文本的性能？是否存在论述贡献的最小文本长度阈值？
• RQ4 指代链和论述结构（例如RST树顺序）在多大程度上影响论述特征的有效性？
• RQ5 为何基于RST的特征优于语法关系（GR）特征？RST的全局结构视图在这一改进中起到什么作用？

主要发现

• 所提出的论述嵌入方法，特别是CNN2-DE（全局）模型，在作者归属任务中实现了最先进性能，显著优于仅使用概率向量的模型。
• 全局特征化始终优于局部特征化，在实验中平均F1得分提升1分，原因在于更好地保留了指代链结构。
• 通过CNN学习到的论述嵌入优于传统的概率向量表示，因为其利用了端到端权重学习，并提供了更细粒度的论述表示。
• 基于RST的论述特征在性能增益上优于语法关系（GR）特征，尤其在更大、更复杂的数据集上，可能是因为RST提供了全局结构视图。
• 论述特征仅在较长文本中提供非平凡的性能增益；较短的文本（例如小说片段、电影评论）通常缺乏足够的指代链，限制了论述的实用性。
• t-SNE可视化显示，语义相似的论述关系（例如解释和解释）在嵌入空间中聚集在一起，表明嵌入中编码了有意义的语义结构。