[论文解读] Multi-range Reasoning for Machine Comprehension

Yi Tay, Luu Anh Tuan+1 more|arXiv (Cornell University)|Mar 24, 2018

Topic Modeling参考文献 29被引用 32

一句话总结

本文提出了一种新型快速高效的组合式编码器——多范围推理单元（MRU），其通过多范围的压缩-展开层学习捕捉长距离与短距离依赖关系的门控向量。MRU在RACE、SearchQA和NarrativeQA上实现了最先进或极具竞争力的性能，且无需使用循环或卷积层，其表现优于DFN、AMANDA和BiDAF等模型，同时训练速度显著更快。

ABSTRACT

We propose MRU (Multi-Range Reasoning Units), a new fast compositional encoder for machine comprehension (MC). Our proposed MRU encoders are characterized by multi-ranged gating, executing a series of parameterized contract-and-expand layers for learning gating vectors that benefit from long and short-term dependencies. The aims of our approach are as follows: (1) learning representations that are concurrently aware of long and short-term context, (2) modeling relationships between intra-document blocks and (3) fast and efficient sequence encoding. We show that our proposed encoder demonstrates promising results both as a standalone encoder and as well as a complementary building block. We conduct extensive experiments on three challenging MC datasets, namely RACE, SearchQA and NarrativeQA, achieving highly competitive performance on all. On the RACE benchmark, our model outperforms DFN (Dynamic Fusion Networks) by 1.5%-6% without using any recurrent or convolution layers. Similarly, we achieve competitive performance relative to AMANDA on the SearchQA benchmark and BiDAF on the NarrativeQA benchmark without using any LSTM/GRU layers. Finally, incorporating MRU encoders with standard BiLSTM architectures further improves performance, achieving state-of-the-art results.

研究动机与目标

• 解决循环编码器（如LSTM/GRU）在机器理解任务中计算效率低下及长上下文感知能力有限的问题。
• 在不依赖顺序RNN的情况下，实现对文本中短期与长期依赖关系的建模。
• 设计一种轻量化、快速且高效的编码器，可作为独立组件使用，或与BiLSTM等现有架构配合使用。
• 提升在复杂、多句子推理任务上的性能，这些任务是机器理解基准测试的核心。

提出的方法

• MRU采用多范围的压缩-展开操作，将输入序列在多个扩张范围（如1、2、4、10、25）上压缩为紧凑表示。
• 每个压缩表示通过仿射层处理后，再展开回原始长度，形成多范围上下文特征。
• 将多个范围的表示进行融合，并通过全连接层处理，生成最终的门控向量，应用于原始输入序列。
• 门控机制通过建模不同粒度（如1-gram与10-gram块）之间的关系，实现组合式推理。
• 该架构设计高效，避免顺序计算，受QRNNs和SRUs启发，但采用基于块的匹配方式而非卷积。
• MRU可独立使用，也可与BiLSTM编码器堆叠（MRU-LSTM）以提升性能。

实验结果

研究问题

• RQ1 非循环编码器能否有效建模机器理解任务中短期与长期依赖关系？
• RQ2 基于块的多范围压缩-展开机制能否在推理密集型机器理解任务中超越标准RNN编码器？
• RQ3 所提出的MRU编码器是否能在不使用LSTM或GRU的情况下实现具有竞争力的性能？
• RQ4 MRU能否作为现有BiLSTM架构的有效补充模块？
• RQ5 MRU的效率与训练速度与DFN和AMANDA等最先进模型相比如何？

主要发现

• 在RACE基准上，MRU模型在不使用任何循环或卷积层的情况下，性能优于DFN 1.5%–6%，且较门控注意力阅读器（Gated Attention Reader）提升10%。
• MRU模型在12小时内完成训练，每轮仅需4–5分钟，远快于DFN（训练超过一周，每轮数小时）。
• 在SearchQA上，MRU模型性能与AMANDA（最先进模型）相当，且每轮仅需2分钟训练时间，是AMANDA的五倍快。
• 在NarrativeQA上，300d的MRU模型性能与BiDAF相当，优于300d的LSTM模型，且训练速度显著更快，并较150d BiLSTM模型提升1%–3%。
• 混合MRU-LSTM模型在NarrativeQA上实现了最先进性能，各项指标均优于BiDAF和独立的BiLSTM模型。
• 消融实验表明，用MRU替代LSTM编码器可使性能提升最高达6%，而将MRU与BiLSTM结合可获得进一步增益，证实二者具有良好的互补性。