[论文解读] ImpactCite: An XLNet-based method for Citation Impact Analysis

Dominique Mercier, Syed Tahseen Raza Rizvi+3 more|arXiv (Cornell University)|Jan 1, 2020

Topic Modeling参考文献 21被引用 4

一句话总结

该论文提出 ImpactCite，一种基于 XLNet 的模型，用于科学文献中的引用影响分析，能够联合执行情感和意图分类。通过利用 XLNet 的自回归预训练和基于排列的注意力机制，ImpactCite 实现了最先进性能，在情感分类和意图分类任务上分别较先前方法提升 3.44% 和 1.33% 的 F1 分数，使用了新整理并清洗过的引用情感数据集（CSC-Clean）。

ABSTRACT

Citations play a vital role in understanding the impact of scientific literature. Generally, citations are analyzed quantitatively whereas qualitative analysis of citations can reveal deeper insights into the impact of a scientific artifact in the community. Therefore, citation impact analysis (which includes sentiment and intent classification) enables us to quantify the quality of the citations which can eventually assist us in the estimation of ranking and impact. The contribution of this paper is two-fold. First, we benchmark the well-known language models like BERT and ALBERT along with several popular networks for both tasks of sentiment and intent classification. Second, we provide ImpactCite, which is XLNet-based method for citation impact analysis. All evaluations are performed on a set of publicly available citation analysis datasets. Evaluation results reveal that ImpactCite achieves a new state-of-the-art performance for both citation intent and sentiment classification by outperforming the existing approaches by 3.44% and 1.33% in F1-score. Therefore, we emphasize ImpactCite (XLNet-based solution) for both tasks to better understand the impact of a citation. Additional efforts have been performed to come up with CSC-Clean corpus, which is a clean and reliable dataset for citation sentiment classification.

研究动机与目标

• 解决科学文献中引用情感分析缺乏可靠、干净数据集的问题。
• 对多种深度学习模型（包括 CNN、RNN、LSTM、BERT 和 ALBERT）进行基准测试，用于引用情感和意图分类。
• 基于 XLNet 架构，开发统一的、最先进解决方案，用于情感和意图分类。
• 通过捕捉引用文本中的上下文和序列依赖关系，提升引用影响的定性评估。
• 提供一种稳健且可泛化的模型，在小样本、类别不平衡的引用数据集上优于现有方法。

提出的方法

• 提出 ImpactCite，一种微调后的基于 XLNet 的模型，用于科学引用中的情感和意图联合分类。
• 利用 XLNet 独特的自回归预训练与排列语言建模，捕捉引用文本中的长距离依赖和全局上下文。
• 采用类别平衡技术，如下采样和通过排列进行数据增强，以处理 CSC-Clean 数据集中存在的类别不平衡问题。
• 通过微调预训练的 XLNet 基础模型，在引用特定的情感和意图分类任务上应用迁移学习。
• 在共享上下文编码器的基础上，为情感和意图分类分别训练独立头，实现高效的多任务学习。
• 在 CSC-Clean 数据集上执行 10 折交叉验证，以确保评估的稳健性和泛化能力。

实验结果

研究问题

• RQ1 基于 XLNet 的模型是否能在引用情感和意图分类任务中超越 BERT 和 ALBERT 等现有架构？
• RQ2 所提出的 ImpactCite 模型在处理引用情感数据集中的类别不平衡问题方面效果如何？
• RQ3 预处理和数据增强在小样本、类别不平衡的引用数据集上对性能提升有多大作用？
• RQ4 单一统一模型是否能在情感和意图分类任务上均实现最先进性能？
• RQ5 XLNet 的自回归特性相比 BERT 等双向模型，在引用文本的上下文建模方面有何优势？

主要发现

• ImpactCite 在 CSC-Clean 引用情感数据集上实现了新的最先进 F1 分数 77.73%，相比之前最先进方法（76.4%）提升 1.33 个百分点。
• 在 SciCite 意图分类数据集上，ImpactCite 实现 F1 分数 88.93%，相比先前最先进方法（SciBERT）提升 3.44%。
• 该模型在所有三类情感（积极、消极、中性）上均表现优异，尤其显著提升了此前表现较差的“消极”类别的 F1 分数。
• ImpactCite 显著优于 LSTM、CNN 和 RNN 等基线模型，即使在引入焦点损失或 SMOTE 增强后，仍表现更优，归因于其对长距离依赖的建模能力。
• 采用 XLNet 的基于排列的训练方式，使模型在小样本数据上具备更好的泛化能力，从而对小样本和类别不平衡的引用数据集具有更强鲁棒性。
• 新发布的 CSC-Clean 数据集被证明比以往版本更可靠、更一致，为引用影响分析模型的准确基准测试提供了支持。