[论文解读] I Know What You Want: Semantic Learning for Text Comprehension

Zhuosheng Zhang, Yuwei Wu+5 more|arXiv (Cornell University)|Sep 8, 2018

Topic Modeling参考文献 43被引用 11

一句话总结

本文提出了一种新颖的方法，通过将语义角色标注（SRL）整合到深度学习模型中，以提升文本理解与推理能力。通过在词嵌入中引入语义角色标签，该方法增强了细粒度的语义理解，从而在机器阅读理解与自然语言蕴含基准测试中取得了最先进性能。

ABSTRACT

Who did what to whom is a major focus in natural language understanding, which is right the aim of semantic role labeling (SRL). Although SRL is naturally essential to text comprehension tasks, it is surprisingly ignored in previous work. This paper thus makes the first attempt to let SRL enhance text comprehension and inference through specifying verbal arguments and their corresponding semantic roles. In terms of deep learning models, our embeddings are enhanced by semantic role labels for more fine-grained semantics. We show that the salient labels can be conveniently added to existing models and significantly improve deep learning models in challenging text comprehension tasks. Extensive experiments on benchmark machine reading comprehension and inference datasets verify that the proposed semantic learning helps our system reach new state-of-the-art.

研究动机与目标

• 解决在文本理解与推理任务中语义角色标注（SRL）被低估的问题。
• 探究SRL如何提升神经网络嵌入的语义丰富度。
• 证明在现有模型中添加SRL标签可提升在具有挑战性的理解与推理任务上的性能。
• 建立一种实用且高效的SRL集成方法，无需对深度学习架构进行大规模修改。

提出的方法

• 通过预测的语义角色标签增强词嵌入，以捕捉更细粒度的句法与语义角色。
• 将SRL预测结果作为额外特征集成到现有的神经网络架构中，用于文本理解任务。
• 使用端到端可训练模型，使SRL标签与主要理解目标共同优化。
• 利用预训练的上下文嵌入（如BERT类模型），并在标记级别注入SRL信息。
• 在微调过程中应用SRL监督，使模型表示与语义角色对齐。
• 设计一种模块化框架，使SRL能够以最小修改集成到多种现有模型中。

实验结果

研究问题

• RQ1 语义角色标签的集成是否能提升文本理解与推理任务的性能？
• RQ2 SRL增强的表征学习如何影响模型的泛化能力与鲁棒性？
• RQ3 SRL在多大程度上能无缝集成到现有深度学习模型中用于NLP？
• RQ4 添加语义角色是否能在基准阅读理解与推理数据集上带来可测量的性能提升？

主要发现

• 所提出的方法在多个基准机器阅读理解数据集上取得了最先进性能。
• 在多种文本理解与推理任务中，引入SRL标签均带来了显著且一致的性能提升。
• 即使应用于现有模型，该方法仍表现出色，证明了其兼容性与可扩展性。
• 突出的语义角色标签有助于更准确、可解释的动词论元及其角色表征。
• 由于对文本中句法与语义结构理解更佳，模型展现出更强的推理能力。
• 在需要深度语义分析的复杂推理场景中，性能提升尤为显著。