[论文解读] Contextualized Non-local Neural Networks for Sequence Learning

Pengfei Liu, Shuaichen Chang+3 more|arXiv (Cornell University)|Nov 21, 2018

Topic Modeling被引用 6

一句话总结

该论文提出了一种上下文感知的非局部神经网络（CN³），这是一种新颖的架构，通过结合自注意力机制（Transformer）与图神经网络（GNNs），动态学习特定任务的句子结构。通过整合局部词依赖关系与非局部长距离注意力，CN³在十个自然语言处理任务中实现了最先进或具有竞争力的性能，同时实现了可解释的、与任务相关的依赖结构。

ABSTRACT

Recently, a large number of neural mechanisms and models have been proposed for sequence learning, of which self-attention, as exemplified by the Transformer model, and graph neural networks (GNNs) have attracted much attention. In this paper, we propose an approach that combines and draws on the complementary strengths of these two methods. Specifically, we propose contextualized non-local neural networks (CN$^{ extbf{3}}$), which can both dynamically construct a task-specific structure of a sentence and leverage rich local dependencies within a particular neighborhood. Experimental results on ten NLP tasks in text classification, semantic matching, and sequence labeling show that our proposed model outperforms competitive baselines and discovers task-specific dependency structures, thus providing better interpretability to users.

研究动机与目标

• 解决Transformer在捕捉局部依赖关系方面的局限性，以及GNN在序列学习中缺乏灵活、任务自适应结构的问题。
• 通过基于任务需求动态学习句子图结构，克服现有模型中固定的结构偏差。
• 将局部上下文表示与非局部注意力相结合，以更好地建模复杂句子结构与词依赖关系。
• 通过发现并可视化输入序列中的特定任务依赖模式，提升模型的可解释性。
• 在保持结构可解释性的前提下，通过学习的边权重与属性感知的消息传递机制，在多样化NLP任务中实现卓越性能。

提出的方法

• 通过将所有词对建模为潜在连接，将自注意力机制扩展至图神经网络，实现非局部依赖学习。
• 引入可学习的边权重，以动态表示词与词之间的任务特定关系，取代固定的句法或依存结构。
• 在消息传递过程中引入节点与边的属性（如词性标注、依存关系），以增强局部表示。
• 采用可微的、基于注意力的聚合机制，计算结合局部与全局依赖关系的上下文表示。
• 在序列分类、匹配与标注任务上，使用标准NLP损失函数（如交叉熵）进行端到端训练。
• 通过可视化学习到的边权重，实现可解释性，揭示如问题模式或句法片段等有意义的子结构。

实验结果

研究问题

• RQ1 能否证明一种动态学习句子结构的模型在序列学习任务中优于固定结构模型？
• RQ2 局部与非局部偏差如何协同作用，以提升在多样化NLP任务中的性能？
• RQ3 模型中学习到的边权重在多大程度上能揭示可解释的、与任务相关的语言模式？
• RQ4 节点与边的属性在多大程度上影响模型捕捉序列中有意义依赖关系的能力？
• RQ5 将GNN风格的局部消息传递与Transformer风格的全局注意力相结合，是否能带来更优的上下文表示？

主要发现

• CN³在包括文本分类、语义匹配和序列标注在内的十个NLP任务中均优于竞争性基线模型，展现出广泛的适用性与有效性。
• 该模型能够发现特定任务的依赖结构，例如在问题分类中识别出'What ... birthday'这一关键模式，对准确预测至关重要。
• 在语义匹配任务中，CN³学习到如'is rising from'和'is coming out of'等具有语义意义的子结构，这些是判断蕴含关系的关键。
• 引入边属性（如依存关系）的模型性能优于未引入的模型，表明属性感知学习能有效提升结构发现能力。
• 可视化结果证实，学习到的边权重能够反映可解释的语言学模式，例如问题词与其目标之间的强连接。
• 消融实验表明，标准Transformer因缺乏局部偏差而性能受限，尤其在序列标注任务中，而CN³通过GNN风格的局部归纳偏差有效克服了这一问题。