[论文解读] Encoding Syntactic Constituency Paths for Frame-Semantic Parsing with Graph Convolutional Networks

Emanuele Bastianelli, Andrea Vanzo+1 more|arXiv (Cornell University)|Nov 26, 2020

Topic Modeling参考文献 47被引用 9

一句话总结

该论文提出一种基于图卷积网络（GCN）的方法，用于编码句法成分路径以进行框架语义分析，通过语法规则学习成分表示，并利用路径特征增强词表示。在 FrameNet 1.5 上，该方法在目标识别任务上实现约 1% 的 SOTA 提升，在语义角色标注任务上实现约 3.5% 的提升（使用 BERT 时额外获得 2.5% 的增益），同时在 CoNLL-2005 上保持了具有竞争力的性能。

ABSTRACT

We study the problem of integrating syntactic information from constituency trees into a neural model in Frame-semantic parsing sub-tasks, namely Target Identification (TI), FrameIdentification (FI), and Semantic Role Labeling (SRL). We use a Graph Convolutional Network to learn specific representations of constituents, such that each constituent is profiled as the production grammar rule it corresponds to. We leverage these representations to build syntactic features for each word in a sentence, computed as the sum of all the constituents on the path between a word and a task-specific node in the tree, e.g. the target predicate for SRL. Our approach improves state-of-the-art results on the TI and SRL of ~1%and~3.5% points, respectively (+2.5% additional points are gained with BERT as input), when tested on FrameNet 1.5, while yielding comparable results on the CoNLL05 dataset to other syntax-aware systems.

研究动机与目标

• 通过将句法成分树信息整合到神经网络模型中，提升框架语义分析性能。
• 利用 GCN 学习基于其语法规则身份的结构化成分表示。
• 将从词到特定任务节点（如 SRL 中的目标谓词）路径上所有成分表示的求和结果作为路径特征，注入到词级表示中。
• 在框架语义分析的三个子任务（目标识别（TI）、框架识别（FI）和语义角色标注（SRL））上评估该方法。
• 在 FrameNet 1.5 和 CoNLL-2005 数据集上展示该方法的通用性与有效性。

提出的方法

• 在有向成分树图上训练 GCN，其中每个节点代表一个句法成分，并使用对应其语法规则（如 VP → VBD VP）的可学习嵌入进行初始化。
• 通过多层 GCN 中的消息传递机制更新节点表示，聚合来自邻近节点的特征。
• 对于每个词，通过将从该词到特定任务节点（如 SRL 中的目标谓词）路径上所有成分表示的求和，构建句法路径特征。
• 将这些路径特征与词级表示（如 BERT 或词嵌入）拼接，以丰富序列标注模型的输入。
• 使用交叉熵损失在各自任务上端到端训练 TI、FI 和 SRL 任务。
• 每层 GCN 仅使用一个权重矩阵，相比先前基于 GCN 的句法模型减少了参数量。

实验结果

研究问题

• RQ1 基于成分的句法路径特征是否能提升框架语义分析任务的性能？
• RQ2 通过基于语法规则身份初始化的 GCN 学习成分表示，是否能比随机初始化或仅基于词的初始化带来更优的句法建模效果？
• RQ3 与现有句法感知模型相比，所提出的路径特征注入机制在性能和参数效率方面表现如何？
• RQ4 该方法在不同数据集（如 FrameNet 1.5 和 CoNLL-2005）上的泛化能力如何？
• RQ5 该方法是否能与上下文嵌入（如 BERT）有效结合，进一步提升性能？

主要发现

• 在 FrameNet 1.5 上，该方法在目标识别（TI）任务上相比之前 SOTA 模型实现了 +1.0% 的绝对性能提升。
• 在语义角色标注（SRL）任务上实现了 +3.5% 的绝对性能提升，当使用 BERT 作为输入时，额外获得 +2.5% 的增益。
• 尽管其成分树结构更复杂，该方法在 CoNLL-2005 数据集上仍保持了具有竞争力的性能，与其它句法感知系统相当。
• 通过每层 GCN 仅使用一个权重矩阵，显著提升了模型的参数效率，相较之前方法所需的六个矩阵更为高效。
• 基于语法规则的初始化使 GCN 能够学习到更紧凑且更具语义意义的成分表示。
• 基于路径的特征注入机制能有效将句法结构信息传递到词表示中，尤其在 SRL 和 TI 任务中表现显著受益。