[论文解读] Learning from Explanations with Neural Execution Tree

Ziqi Wang, Yujia Qin+6 more|arXiv (Cornell University)|Nov 4, 2019

Topic Modeling被引用 17

一句话总结

该论文提出神经执行树（NExT）框架，通过将自然语言（NL）解释转换为可执行的逻辑形式，并利用神经模块对语言变体进行泛化，从而在低资源设置下提升文本分类性能。通过采用模糊化、模块化的匹配方式（字符串匹配、计数、逻辑计算和确定性函数），NExT显著提升了召回率与泛化能力，在关系抽取和情感分析任务中以极少的标注成本达到最先进性能。

ABSTRACT

While deep neural networks have achieved impressive performance on a range of NLP tasks, these data-hungry models heavily rely on labeled data, which restricts their applications in scenarios where data annotation is expensive. Natural language (NL) explanations have been demonstrated very useful additional supervision, which can provide sufficient domain knowledge for generating more labeled data over new instances, while the annotation time only doubles. However, directly applying them for augmenting model learning encounters two challenges: (1) NL explanations are unstructured and inherently compositional, which asks for a modularized model to represent their semantics, (2) NL explanations often have large numbers of linguistic variants, resulting in low recall and limited generalization ability. In this paper, we propose a novel Neural Execution Tree (NExT) framework to augment training data for text classification using NL explanations. After transforming NL explanations into executable logical forms by semantic parsing, NExT generalizes different types of actions specified by the logical forms for labeling data instances, which substantially increases the coverage of each NL explanation. Experiments on two NLP tasks (relation extraction and sentiment analysis) demonstrate its superiority over baseline methods. Its extension to multi-hop question answering achieves performance gain with light annotation effort.

研究动机与目标

• 解决在使用自然语言解释训练文本分类器时存在的召回率低和泛化能力差的问题。
• 建模自然语言解释的组合性与结构化特性，以实现更优的语义理解。
• 通过引入基于神经网络的模糊化、泛化逻辑形式，降低对精确词汇匹配的依赖。
• 通过人类标注的自然语言解释提供弱监督，实现对无标签数据在低资源NLP任务中的有效利用。
• 将该框架扩展至多跳问答任务，且仅需极少的标注工作。

提出的方法

• 使用基于组合范畴语法（CCG）的语义解析器将自然语言解释解析为逻辑形式。
• 引入四种神经匹配模块：字符串匹配、软性计数、逻辑计算和确定性函数模块，以对语言变体进行泛化。
• 使用模糊匹配得分替代精确匹配，以提升已标注实例的覆盖范围。
• 基于置信度阈值，使用联合模型在标注数据和原始语料中的伪标签实例上进行联合训练。
• 采用联合学习算法，利用标注数据与无标签数据联合优化，以提升模型泛化能力。
• 通过使用21条自然语言解释和5条人工编写的规则，将框架适配至多跳问答任务。

实验结果

研究问题

• RQ1 自然语言解释能否被有效转化为可执行的逻辑形式，从而提升低资源NLP任务中的模型泛化能力？
• RQ2 如何应对解释中的语言变异性，以提升在新实例标注中的召回率与鲁棒性？
• RQ3 能否利用神经模块实现对精确匹配的软化，从而支持基于解释的标注规则的模糊化、组合式泛化？
• RQ4 在仅使用极少人工标注的自然语言解释下，NExT能在多大程度上提升文本分类与多跳问答任务的性能？
• RQ5 与传统弱监督方法相比，联合学习标注数据与伪标签数据在多大程度上提升了模型性能？

主要发现

• 当使用置信度阈值 >0.1 的无标签数据时，NExT在SemEval-2010任务8数据集上达到75.60%的准确率，优于基线模型。
• 仅使用21条自然语言解释和5条规则，NExT在多跳问答任务中性能提升了1%。
• NExT通过泛化语言变体显著提升了解释的覆盖范围，避免了因词汇不同但语义相同而造成的失败。
• 软性计数与逻辑计算模块在处理表达方式差异和数值表达方面尤为有效。
• 基于置信度筛选伪标签实例的联合训练策略，在多个数据集上均带来了稳定性能提升。
• NExT展现出强大的泛化能力，能够在保持高标注可靠性的同时，有效利用无标签数据。