[论文解读] Attention-Based Convolutional Neural Network for Machine Comprehension

Wenpeng Yin, Sebastian Ebert+1 more|arXiv (Cornell University)|Feb 13, 2016

Topic Modeling参考文献 15被引用 13

一句话总结

该论文提出HABCNN，一种用于MCTest基准测试的层次化注意力卷积神经网络，通过注意力机制动态突出显示文档中相关句子和片段，无需人工特征工程。该模型通过CNN和高速公路网络在词、句子和片段等多个粒度上建模文本，实现了显著优于先前深度学习方法的最先进性能。

ABSTRACT

Understanding open-domain text is one of the primary challenges in natural language processing (NLP). Machine comprehension benchmarks evaluate the system's ability to understand text based on the text content only. In this work, we investigate machine comprehension on MCTest, a question answering (QA) benchmark. Prior work is mainly based on feature engineering approaches. We come up with a neural network framework, named hierarchical attention-based convolutional neural network (HABCNN), to address this task without any manually designed features. Specifically, we explore HABCNN for this task by two routes, one is through traditional joint modeling of passage, question and answer, one is through textual entailment. HABCNN employs an attention mechanism to detect key phrases, key sentences and key snippets that are relevant to answering the question. Experiments show that HABCNN outperforms prior deep learning approaches by a big margin.

研究动机与目标

• 解决开放域机器阅读理解问题，避免依赖手工设计的语言学特征。
• 基于问题需求，利用注意力机制动态建模文档表示。
• 通过捕捉与每个问题相关的关键短语、句子和片段，提升在MCTest上的性能。
• 探索两种方法：文档投影与文本蕴涵用于问答。
• 证明层次化CNN结合注意力机制可在该任务上超越现有深度学习模型。

提出的方法

• HABCNN采用层次化CNN架构，从词级别处理到句子级别，再至片段级别，捕捉局部与全局特征。
• 在句子级别和片段级别应用注意力机制，识别针对给定问题最相关的文档部分。
• 采用基于余弦相似度的注意力池化方法，选择top-k关键句子和片段，降低噪声并聚焦于关键信息。
• 高速公路网络结合句子级别与片段级别表示，实现单句与多句线索之间的灵活权衡。
• 系统在两种设置下进行评估：联合建模文档、问题与答案；将问答任务重新表述为文本蕴涵任务。
• 词级别表示通过分布式嵌入学习，卷积层后使用最大池化以提取显著特征。

实验结果

研究问题

• RQ1 具有注意力机制的深度神经网络是否能在MCTest机器阅读理解基准上超越特征工程模型？
• RQ2 具有多粒度注意力的层次化CNN在检测与问题相关的关键短语和片段方面效果如何？
• RQ3 将问答任务建模为文本蕴涵是否能获得优于传统联合建模的性能？
• RQ4 在低资源设置下，基于余弦相似度的简单注意力机制是否能超越更复杂的注意力方案？
• RQ5 神经模型在处理需要计数或长距离推理的'how many'和'why'问题时存在哪些局限性？

主要发现

• HABCNN在MCTest基准上显著优于先前的深度学习方法，展现出最先进性能。
• 基于文本蕴涵的HABCNN变体性能略优于文档投影方法。
• 将句子级别CNN替换为GRU层会降低性能，表明CNN在检测关键短语方面更优，无论其位置如何。
• 比余弦相似度池化更复杂的注意力方案表现更差，因其难以区分关键句子与噪声，归因于注意力权重差异过小。
• 该模型能有效可视化句子与片段级别的注意力，表明top-k片段被正确识别为多句问题的有用信息来源。
• 系统在'how many'和'why'问题上表现不佳，尤其因数值答案建模与长距离依赖关系处理存在挑战。