[论文解读] Here's My Point: Argumentation Mining with Pointer Networks

Peter Potash, Alexey Romanov+1 more|arXiv (Cornell University)|Apr 24, 2017

Topic Modeling参考文献 16被引用 3

一句话总结

该论文提出了一种基于改进Pointer Network的新型神经网络方法，用于从文本中挖掘论点结构，联合预测论点成分的链接与类型。通过利用序列建模、强制执行树形结构约束，并在RNN编码器前引入全连接层，构建联合学习框架，该方法在两个语料库上实现了最先进性能。

ABSTRACT

One of the major goals in automated argumentation mining is to uncover the argument structure present in argumentative text. In order to determine this structure, one must understand how different individual components of the overall argument are linked. General consensus in this field dictates that the argument components form a hierarchy of persuasion, which manifests itself in a tree structure. This work provides the first neural network-based approach to argumentation mining, focusing on extracting links between argument components, with a secondary focus on classifying types of argument components. In order to solve this problem, we propose to use a modification of a Pointer Network architecture. A Pointer Network is appealing for this task for the following reasons: 1) It takes into account the sequential nature of argument components; 2) By construction, it enforces certain properties of the tree structure present in argument relations; 3) The hidden representations can be applied to auxiliary tasks. In order to extend the contribution of the original Pointer Network model, we construct a joint model that simultaneously attempts to learn the type of argument component, as well as continuing to predict links between argument components. The proposed model achieves state-of-the-art results on two separate evaluation corpora. Furthermore, our results show that optimizing for both tasks, as well as adding a fully-connected layer prior to recurrent neural network input, is crucial for high performance.

研究动机与目标

• 开发一种基于神经网络的方法，以自动从论辩性文本中提取论点结构。
• 使用序列到序列学习与指针网络，建模论点关系的分层树状结构。
• 通过联合预测论点成分的类型及其结构链接，提升整体性能。
• 通过架构改进（包括在RNN编码器前添加全连接层）提升模型性能。
• 通过端到端深度学习建立论点挖掘的新最先进基线。

提出的方法

• 采用改进的Pointer Network架构，用于预测论点成分之间的链接，同时保持输入成分的顺序。
• 通过确保每个成分最多仅链接到一个父节点，强制执行树形结构约束，自然地建模分层说服关系。
• 引入联合学习框架，利用共享的隐藏表示，同时预测论点成分类型和结构链接。
• 在RNN编码器前应用全连接层，以改善表示学习并提升模型性能。
• 模型利用注意力机制和循环编码，捕捉论辩性文本中的长距离依赖关系。
• 该架构在两个论点挖掘语料库上进行端到端训练，两个预测任务均使用交叉熵损失函数。

实验结果

研究问题

• RQ1 神经网络模型能否有效学习在保持分层树形结构的同时预测论点成分链接？
• RQ2 联合预测论点成分类型与链接是否能显著提升整体论点挖掘性能？
• RQ3 在RNN编码器前添加全连接层对模型性能有何影响？
• RQ4 改进的Pointer Network在论点结构提取任务上相较于现有方法表现如何？
• RQ5 哪些架构组件在实现论点挖掘最先进结果中最为关键？

主要发现

• 所提出的模型在两个标准论点挖掘语料库上实现了最先进性能，优于先前方法。
• 对论点成分类型分类与链接预测进行联合优化，显著提升了模型准确率。
• 在RNN编码器前添加全连接层被证明对实现高性能至关重要。
• 通过强制执行父-子链接约束，Pointer Network架构能有效建模论点的分层结构。
• 模型的隐藏表示具有可迁移性，对辅助任务（如成分类型分类）具有实用价值。
• 结果表明，结合结构归纳偏置的序列建模能显著提升论点结构预测性能。