[论文解读] Knowledge as a Teacher: Knowledge-Guided Structural Attention Networks

Yun-Nung Chen, Dilek Hakkani-Tür+4 more|arXiv (Cornell University)|Sep 12, 2016

Topic Modeling参考文献 42被引用 29

一句话总结

本文提出知识引导的结构化注意力网络（K-SAN），一种新颖的神经网络架构，通过注意力机制引入非平面、知识引导的子结构，从而泛化RNN。借助外部知识（如依存树、AMR图），K-SAN能够聚焦于显著的语言子结构，在训练数据有限的情况下于ATIS基准上实现最先进性能，即使在大规模数据集上也比先前方法高出最多4.86 F1分。

ABSTRACT

Natural language understanding (NLU) is a core component of a spoken dialogue system. Recently recurrent neural networks (RNN) obtained strong results on NLU due to their superior ability of preserving sequential information over time. Traditionally, the NLU module tags semantic slots for utterances considering their flat structures, as the underlying RNN structure is a linear chain. However, natural language exhibits linguistic properties that provide rich, structured information for better understanding. This paper introduces a novel model, knowledge-guided structural attention networks (K-SAN), a generalization of RNN to additionally incorporate non-flat network topologies guided by prior knowledge. There are two characteristics: 1) important substructures can be captured from small training data, allowing the model to generalize to previously unseen test data; 2) the model automatically figures out the salient substructures that are essential to predict the semantic tags of the given sentences, so that the understanding performance can be improved. The experiments on the benchmark Air Travel Information System (ATIS) data show that the proposed K-SAN architecture can effectively extract salient knowledge from substructures with an attention mechanism, and outperform the performance of the state-of-the-art neural network based frameworks.

研究动机与目标

• 解决RNN在建模自然语言理解（NLU）中非平面语言结构方面的局限性。
• 通过利用先验知识作为教师来引导注意力，提升低数据场景下的泛化能力与鲁棒性。
• 克服依赖于预提取语言特征的特征增强方法中存在的误差传播与泛化能力差的问题。
• 开发一种端到端可训练的模型，自动从知识源中学习显著子结构以用于序列标注。
• 证明知识引导注意力在多种知识源（如依存树、AMR图）上的有效性与泛化能力。

提出的方法

• K-SAN通过引入源自外部知识源（如依存树和抽象意义表示，AMR）的非线性、知识引导的网络拓扑，泛化RNN。
• 该模型采用注意力机制，根据知识提供的结构引导，动态聚焦于重要子结构（包括词语与关系），而非将序列视为平面链式结构。
• 知识引导的子结构通过识别知识图中的显著节点与边（如句法核心词或语义概念）并构建用于注意力计算的局部子图来构建。
• 模型使用基于CNN的编码器提取上下文表征，随后通过结构化注意力层对知识引导的子结构进行注意力计算，生成任务特定的表征。
• 整个架构通过序列标注目标进行端到端训练，损失通过神经网络与注意力机制反向传播。
• 该方法支持多种知识源（如Stanford依存解析器、SyntaxNet、JAMR、基于规则的AMR），并能根据输入的结构与语义动态调整注意力。

实验结果

研究问题

• RQ1 知识引导的非平面网络拓扑是否能在低资源NLU设置下提升序列标注性能？
• RQ2 由外部知识引导的注意力机制是否相比平面RNN能更准确识别显著子结构？
• RQ3 K-SAN在不同类型的知识源（如句法图与语义图）之间如何实现泛化？
• RQ4 当训练数据稀缺时，K-SAN的性能能维持到何种程度？
• RQ5 该模型是否能自动学习聚焦于相关语言子结构，而无需依赖预提取的特征？

主要发现

• 在大型ATIS数据集上，K-SAN实现了94.86的SOTA F1分数，比之前SOTA高出4.86分。
• 在中型数据集上，使用SyntaxNet生成的知识，K-SAN达到88.40的F1分数，比之前SOTA高出3.53分。
• 即使仅使用53个知识引导的子结构，K-SAN在大型数据集上仍达到87.99的F1分数，表明在有限结构引导下仍具强大性能。
• 该模型在不同知识源（依存树与AMR图）之间表现出一致性能，表明对多样化知识格式具有稳健的泛化能力。
• 注意力可视化结果证实，即使在低数据场景下，K-SAN也能正确聚焦于关键元素（如出发地、目的地与时间）。
• 该模型在不同规模的数据集上均保持稳定的注意力分布，表明对数据稀缺具有强鲁棒性与良好泛化能力。