[论文解读] Improved Semantic Role Labeling using Parameterized Neighborhood Memory Adaptation

Ishan Jindal, Ranit Aharonov+3 more|arXiv (Cornell University)|Nov 29, 2020

Natural Language Processing Techniques参考文献 27被引用 4

一句话总结

本文提出参数化邻域记忆适配（PNMA），通过利用深度神经网络激活记忆中K个最近邻的参数化表示，提升语义角色标注（SRL）性能。通过使用这些自适应邻域向量微调分类层，PNMA在多种设置下均提升了SRL性能，在CoNLL2005上达到80.2%的F1新SOTA分数，在CoNLL2009上达到84.97%，尤其在低频和分布外谓词上表现显著，当与BERT结合时效果更佳。

ABSTRACT

Deep neural models achieve some of the best results for semantic role labeling. Inspired by instance-based learning that utilizes nearest neighbors to handle low-frequency context-specific training samples, we investigate the use of memory adaptation techniques in deep neural models. We propose a parameterized neighborhood memory adaptive (PNMA) method that uses a parameterized representation of the nearest neighbors of tokens in a memory of activations and makes predictions based on the most similar samples in the training data. We empirically show that PNMA consistently improves the SRL performance of the base model irrespective of types of word embeddings. Coupled with contextualized word embeddings derived from BERT, PNMA improves over existing models for both span and dependency semantic parsing datasets, especially on out-of-domain text, reaching F1 scores of 80.2, and 84.97 on CoNLL2005, and CoNLL2009 datasets, respectively.

研究动机与目标

• 通过利用深度神经网络激活中的最近邻信息，提升语义角色标注（SRL）性能。
• 解决SRL中低频谓词和分布外泛化的问题。
• 开发一种基于记忆的适配方法，增强基础模型，且无需标注邻域样本。
• 在多种词嵌入类型（包括BERT等上下文嵌入）下，验证PNMA的有效性。

提出的方法

• 从训练集中构建标记表示的记忆库，使用欧氏距离为每个标记存储K个最近邻。
• 通过使用可学习权重组合K个最近邻表示，生成参数化邻域表示 $\mathbf{n}_{K}(w) \in \mathbb{R}^d$。
• 固定基础模型的词嵌入和谓词嵌入、LSTM层，仅使用邻域表示 $\mathbf{n}_{K}(w)$ 微调分类层。
• 利用邻域表示重新训练分类层，使模型能够纠正基础模型的错误预测。
• 将PNMA应用于跨度和依存式SRL任务，集成至使用静态和上下文嵌入的模型中。

实验结果

研究问题

• RQ1 来自深度神经网络激活的最近邻信息是否能超越基础模型，提升SRL性能？
• RQ2 PNMA是否能有效减少对低频谓词和分布外样本的错误？
• RQ3 当与BERT等上下文嵌入结合时，PNMA表现如何？
• RQ4 在基础模型与PNMA预测不一致的样本上，PNMA是否能改善预测？
• RQ5 邻域大小和表示质量对PNMA性能有何影响？

主要发现

• 在CoNLL2005的分布外测试集上，PNMA达到80.2%的新SOTA F1分数，较之前方法提升2.0个百分点。
• 在CoNLL2009数据集上，使用BERT的PNMA达到84.97%的F1分数，较现有模型提升5.0个百分点。
• PNMA在所有论元角色上均持续提升基础模型性能，尤其在低频谓词和罕见句法模式上表现突出。
• 该方法能纠正基础模型在预测不一致情况下的错误，且在CoNLL2005和CoNLL2009上，PNMA的正确率高于基础模型。
• 误差分析显示，PNMA在邻域大小适中（10–40个邻居）且谓词频率较低时收益最大，但当邻居本身存在基础模型错误预测时，性能会下降。