[论文解读] Multi-Perspective Context Aggregation for Semi-supervised Cloze-style Reading Comprehension

Liang Wang, Sujian Li+5 more|arXiv (Cornell University)|Aug 19, 2018

Topic Modeling参考文献 27被引用 4

一句话总结

本文提出了一种用于半监督完形填空式阅读理解的多视角上下文聚合网络（MPNet），结合了多种上下文聚合模块——分别捕捉注意力、全局语义和n-gram等不同语言视角——随后通过指针网络进行答案预测。该方法引入了一种分布匹配采样策略，高效生成高质量的未标注训练样本，在CLOTH数据集上实现了4.2%的绝对性能提升，达到新的最先进水平。

ABSTRACT

Cloze-style reading comprehension has been a popular task for measuring the progress of natural language understanding in recent years. In this paper, we design a novel multi-perspective framework, which can be seen as the joint training of heterogeneous experts and aggregate context information from different perspectives. Each perspective is modeled by a simple aggregation module. The outputs of multiple aggregation modules are fed into a one-timestep pointer network to get the final answer. At the same time, to tackle the problem of insufficient labeled data, we propose an efficient sampling mechanism to automatically generate more training examples by matching the distribution of candidates between labeled and unlabeled data. We conduct our experiments on a recently released cloze-test dataset CLOTH (Xie et al., 2017), which consists of nearly 100k questions designed by professional teachers. Results show that our method achieves new state-of-the-art performance over previous strong baselines.

研究动机与目标

• 为解决神经网络模型与人类在高质量、人工精心构建的完形填空数据集（如CLOTH）上的性能差距，此类数据集比自动生成的数据更具挑战性。
• 通过利用未标注文本进行半监督学习，克服完形填空式阅读理解中标签数据稀缺的限制。
• 通过同时建模来自多种语言视角（如注意力、全局语义和词汇搭配）的上下文，提升模型的泛化能力。
• 开发一种样本高效、分布感知的数据增强方法，使标签数据与未标签数据之间的候选词分布保持一致。
• 在CLOTH基准上实现最先进性能，该基准涵盖推理、语法和搭配等多种问题类型。

提出的方法

• 该模型采用多视角架构，包含并行的聚合模块，每个模块从不同的语言视角处理上下文：注意力匹配、用于全局语义的迭代空洞卷积、n-gram以及神经语言模型。
• 每个聚合模块将可变长度的上下文和候选选项压缩为固定长度的向量，捕捉上下文与候选项关系的不同方面。
• 所有模块的输出被拼接后输入到一个单时间步的指针网络，用于预测最终的答案标记。
• 提出一种新颖的半监督采样机制，以匹配标签数据与未标签数据之间候选词的分布，降低停用词和未登录词（OOV）的权重，同时保留有意义的内容词。
• 该方法通过直接利用标签数据中的分布统计信息来指导从未标签语料库构建合成训练样本，避免训练辅助模型。
• 该方法在CLOTH数据集上进行评估，使用背景语料库如CLOTH训练集、RACE和Wikipedia来生成未标签样本。

实验结果

研究问题

• RQ1 多视角上下文聚合框架是否能提升在具有挑战性的、人工精心构建的完形填空式阅读理解数据集（如CLOTH）上的性能？
• RQ2 当标签数据稀缺时，如何有效利用未标签数据来提升模型泛化能力？
• RQ3 与现有方法相比，分布匹配采样策略在数据增强中是否在样本效率和性能增益方面更具优势？
• RQ4 不同聚合模块（如注意力、语言模型、空洞卷积）在建模完形问题中多样化语言现象方面的贡献程度如何？
• RQ5 是否可以通过一种半监督方法在CLOTH上实现最先进结果，而无需依赖外部预训练或复杂辅助模型？

主要发现

• 所提出的MPNet模型在CLOTH数据集上实现了新的最先进性能，相比之前强大的基线模型，准确率提升了4.2%。
• 基于候选词分布匹配的半监督学习策略显著提升了模型性能，仅使用少量训练数据即实现高样本效率。
• 使用CLOTH训练集作为背景语料库时性能最佳，其次为RACE，最后为Wikipedia，表明语料质量与分布对齐对数据增强至关重要。
• 该模型的多视角设计使其能更有效地处理多种问题类型，包括推理、语法和搭配等，优于单视角模型。
• 消融实验表明，每个聚合模块均有独特贡献，其中语言模型和基于注意力的模块在处理词汇和匹配类问题时尤为有效。
• 该方法即使在不使用外部预训练或辅助模型的情况下，也能取得优异性能，凸显了所提出数据增强与网络架构设计的有效性。