[论文解读] AdvEntuRe: Adversarial Training for Textual Entailment with Knowledge-Guided Examples

Dongyeop Kang, Tushar Khot+2 more|arXiv (Cornell University)|May 12, 2018

Natural Language Processing Techniques被引用 9

一句话总结

该论文提出 AdvEntuRe，一种基于 GAN 的对抗性训练框架，用于文本蕴含任务，通过结合知识引导的规则模板与序列到序列生成器，提升低数据场景下的模型鲁棒性。通过迭代地利用语言知识和可微分生成器生成对抗性样本，该方法在 SciTail 上提升准确率 4.7%，在 1% 的 SNLI 子集上提升 2.8%，且仅使用一个否定规则即使否定类样本的准确率提升 6.1%。

ABSTRACT

We consider the problem of learning textual entailment models with limited supervision (5K-10K training examples), and present two complementary approaches for it. First, we propose knowledge-guided adversarial example generators for incorporating large lexical resources in entailment models via only a handful of rule templates. Second, to make the entailment model - a discriminator - more robust, we propose the first GAN-style approach for training it using a natural language example generator that iteratively adjusts based on the discriminator's performance. We demonstrate effectiveness using two entailment datasets, where the proposed methods increase accuracy by 4.7% on SciTail and by 2.8% on a 1% training sub-sample of SNLI. Notably, even a single hand-written rule, negate, improves the accuracy on the negation examples in SNLI by 6.1%.

研究动机与目标

• 在低监督场景（5K–10K 个样本）中提升文本蕴含模型的性能，此类场景下模型常因罕见或对抗性语言模式而失效。
• 解决因在 SNLI 和 SciTail 等数据集上过度拟合重复模式而导致的模型脆弱性问题。
• 开发一种与模型无关的方法，在不修改网络架构的前提下，通过对抗性数据增强提升鲁棒性。
• 通过极简的规则模板，将大规模语言资源（如 WordNet、PPDB）和简单语言规则（如否定）融入深度学习模型。
• 采用 GAN 式框架训练鲁棒的蕴含判别器，其中生成器根据判别器在生成样本上的损失表现进行演化。

提出的方法

• 基于知识的对抗性样本生成器使用少量规则模板（如否定、同义词替换）结合词汇资源（如 WordNet、PPDB）对前提和假设进行转换。
• 为每种子命题类别（蕴含、矛盾、中立）训练一个序列到序列生成器，从给定前提生成多样化且自然的假设。
• 该框架采用 GAN 式训练循环，生成器根据判别器在生成样本上的损失进行更新，从而提升合成数据的质量与对抗强度。
• 判别器（蕴含模型）在真实数据与对抗生成样本的组合上进行训练，使其对语言变体更具鲁棒性。
• 将基于规则的生成器应用于真实样本，生成对抗性变体，如对陈述进行否定或替换为同义词。
• 通过逐样本损失反馈对生成器进行微调，实现对挑战判别器的困难样本的针对性生成。

实验结果

研究问题

• RQ1 少量手工设计的语言规则是否能显著提升低数据文本蕴含任务中的泛化能力？
• RQ2 GAN 式框架在通过迭代对抗性数据生成提升蕴含模型鲁棒性方面效果如何？
• RQ3 在不修改蕴含模型架构的前提下，能在多大程度上利用 WordNet 和 PPDB 等大规模词汇资源？
• RQ4 结合基于规则与神经序列到序列生成器是否能优于单一方法？
• RQ5 通过知识引导的对抗性数据增强是否能缩小低数据场景下的性能差距，特别是在罕见语言现象（如否定）上？

主要发现

• AdvEntuRe 在 SciTail 数据集上将准确率提升 4.7%，表明在低数据场景下具有显著优势。
• 在 SNLI 的 1% 子集（10K 个样本）上，该方法相比基线模型准确率提升 2.8%。
• 仅一个否定规则（'negate'）即使 SNLI 中否定类样本的性能提升 6.1%，凸显简单语言规则的价值。
• 基于 PPDB 的改写方法在 SNLI 上带来最大收益（+3.6%），而否定规则在 SciTail 上效果最显著（消融实验中提升 8.2%）。
• 在所有蕴含类别上联合训练的序列到序列生成器取得最佳整体性能，验证了 GAN 框架在自适应数据增强中的有效性。
• 定性分析表明，知识引导的生成器能生成高质量、语义合理的对抗性样本，且不受训练集规模影响。