[论文解读] Enhancing Recurrent Neural Networks with Sememes.

Yujia Qin, Fanchao Qi+6 more|arXiv (Cornell University)|Oct 20, 2019

Topic Modeling参考文献 47被引用 5

一句话总结

本文提出将语义素——最小的语义单元——整合进循环神经网络（RNNs），以增强其在各种自然语言处理（NLP）任务中的序列建模能力。通过为LSTM、GRU及其双向变体设计三种不同的语义素整合方法，作者在语言建模和自然语言蕴涵任务中均实现了稳定提升，且在对抗性攻击下表现出比对抗性训练更强的鲁棒性。

ABSTRACT

Sememes, the minimum semantic units of human languages, have been successfully utilized in various natural language processing applications. However, most existing studies exploit sememes in specific tasks and few efforts are made to utilize sememes more fundamentally. In this paper, we propose to incorporate sememes into recurrent neural networks (RNNs) to improve their sequence modeling ability, which is beneficial to all kinds of downstream tasks. We design three different sememe incorporation methods and employ them in typical RNNs including LSTM, GRU and their bidirectional variants. For evaluation, we use several benchmark datasets involving PTB and WikiText-2 for language modeling, SNLI for natural language inference. Experimental results show evident and consistent improvement of our sememe-incorporated models compared with vanilla RNNs, which proves the effectiveness of our sememe incorporation methods. Moreover, we find the sememe-incorporated models have great robustness and outperform adversarial training in defending adversarial attack. All the code and data of this work will be made available to the public.

研究动机与目标

• 从根本上将语义素整合进RNN架构，以提升其语义理解能力和序列建模能力。
• 探索语义素整合如何在任务特定应用之外，为广泛的下游NLP任务带来益处。
• 评估语义素增强RNN在对抗性攻击下的鲁棒性，并与对抗性训练进行比较。
• 开发适用于标准RNN（包括双向变体）的可迁移语义素整合机制。

提出的方法

• 设计三种不同的方法，将语义素表征注入RNN的隐藏状态，涵盖LSTM和GRU等不同架构层级。
• 通过类似注意力的机制或与隐藏状态的直接拼接，将语义素表征整合，以丰富语义信息流动。
• 在标准基准数据集（如PTB和WikiText-2）上进行端到端训练，用于语言建模；在SNLI上进行自然语言蕴涵任务的训练。
• 将LSTM和GRU的双向变体扩展，引入语义素整合，以捕捉更丰富的上下文语义。
• 利用预训练的语义素嵌入，确保语义一致性及在不同任务间的可迁移性。
• 通过对抗性样本评估鲁棒性，并与对抗性训练模型的性能进行对比。

实验结果

研究问题

• RQ1 语义素整合是否能在多个NLP任务中持续提升标准RNN的性能？
• RQ2 语义素增强RNN在防御对抗性攻击方面与对抗性训练相比表现如何？
• RQ3 在不进行架构全面重构的前提下，将语义素表征有效整合进RNN架构的最佳方式是什么？
• RQ4 语义素整合是否不仅提升准确率，还能增强RNN的泛化能力和鲁棒性？

主要发现

• 在PTB和WikiText-2数据集上的语言建模任务中，整合语义素的RNN相比原始RNN实现了持续且显著的性能提升。
• 在防御对抗性攻击方面，该模型表现优于对抗性训练，展现出更强的鲁棒性。
• 所提出的语义素整合方法在不同RNN变体中均有效，包括双向LSTM和GRU。
• 性能提升在多种任务中均明显可见，表明语义素增强方法具有良好的泛化能力。
• 语义素的整合使隐藏状态表征更具语义信息，从而提升了序列建模中的上下文理解能力。