[论文解读] Automatic Argumentative-Zoning Using Word2vec

Haixia Liu|arXiv (Cornell University)|Mar 29, 2017

Topic Modeling参考文献 14被引用 4

一句话总结

本文提出一种基于神经网络的word2vec嵌入方法，用于科学论文中的自动论证分区（AZ），其中通过平均词向量生成句子表征。该方法在大多数类别中优于手工设计的特征，且通过使用领域特定的训练语料库以及将提示词整合到损失函数中，进一步提升了性能，表明学习到的嵌入在学术文本的修辞分类中具有有效性。

ABSTRACT

In comparison with document summarization on the articles from social media and newswire, argumentative zoning (AZ) is an important task in scientific paper analysis. Traditional methodology to carry on this task relies on feature engineering from different levels. In this paper, three models of generating sentence vectors for the task of sentence classification were explored and compared. The proposed approach builds sentence representations using learned embeddings based on neural network. The learned word embeddings formed a feature space, to which the examined sentence is mapped to. Those features are input into the classifiers for supervised classification. Using 10-cross-validation scheme, evaluation was conducted on the Argumentative-Zoning (AZ) annotated articles. The results showed that simply averaging the word vectors in a sentence works better than the paragraph to vector algorithm and by integrating specific cuewords into the loss function of the neural network can improve the classification performance. In comparison with the hand-crafted features, the word2vec method won for most of the categories. However, the hand-crafted features showed their strength on classifying some of the categories.

研究动机与目标

• 为解决科学文献中手工修辞标注的挑战，通过分布式句子表征实现论证分区（AZ）的自动化。
• 评估基于神经网络的词嵌入是否能有效表征句子语义以用于AZ，从而减少对耗时的手工特征的依赖。
• 研究训练语料领域、特征维度和专用嵌入策略对AZ分类性能的影响。
• 在多个修辞类别中，比较学习嵌入与传统手工特征工程方法的有效性。

提出的方法

• 通过句子中词语的预训练word2vec向量的平均值生成句子表征，形成无需复杂架构的密集向量表示。
• 评估三种word2vec模型：AVGWVEC（词向量平均）、PARAVEC（段落到向量）以及一种将提示词整合到损失函数中的专用模型（BSWE）。
• 将学习到的句子向量输入到监督分类器（如SVM或逻辑回归）中，进行7类修辞状态分类。
• 实验在Argumentative-Zoning（AZ）语料库上采用10折交叉验证，比较不同训练语料库（ACL+AZ、MixedAbs和Brown）下的性能表现。
• 在100维和300维两种特征维度下测试，以评估其对分类准确率的影响。
• 消融研究比较了基于word2vec的特征与手工特征（如Teufel 2002）以及提示词匹配方法的性能。

实验结果

研究问题

• RQ1 基于word2vec的句子表征是否能在论证分区中优于传统手工特征？
• RQ2 训练语料的选择如何影响word2vec模型在AZ中的性能？
• RQ3 在word2vec训练过程中整合领域特定的提示词是否能提升特定修辞类别的分类准确率？
• RQ4 与更复杂的句子编码方法（如段落到向量）相比，词向量平均方法的性能是否存在显著差异？
• RQ5 词嵌入的维度是否显著影响AZ中的分类性能？

主要发现

• 在大多数修辞类别中，词向量平均方法（AVGWVEC）的F1值优于段落到向量方法（PARAVEC），表明简单的平均已能捕捉足够的语义信息。
• 专门设计的BSWE模型通过在损失函数中整合提示词，在BAS类别中取得了最高的F1值，证明了任务特定预训练的优势。
• 在ACL+AZ语料库上进行训练可获得最佳整体性能，表明训练数据的领域相关性比词汇量或语料规模更为重要。
• 在大多数类别中，基于word2vec的特征优于提示词匹配和基线方法，仅在AIM、BAS和OWN类别中，手工特征仍更优。
• 100维与300维嵌入之间无显著性能差异，表明特征维度对AZ性能的影响有限。
• 本研究证实，学习到的嵌入在性能上可与手工特征相媲美，且所需专家投入更少，因此是科学文本分析中AZ任务的可扩展替代方案。