[论文解读] Emergent Logical Structure in Vector Representations of Neural Readers.

Hai Wang, Takeshi Onishi+2 more|arXiv (Cornell University)|Nov 23, 2016

Topic Modeling参考文献 23被引用 4

一句话总结

本文研究了神经阅读模型向量表示中涌现的逻辑结构，表明像 Attention-Sum 和门控注意力这样的聚合阅读器隐式地编码了与显式引用架构相匹配的逻辑关系。此外，研究还表明，将语言学特征整合到现有神经阅读器中可显著提升性能，在 Who-did-What 数据集上取得了最先进结果。

ABSTRACT

Reading comprehension is a question answering task where the answer is to be found in a given passage about entities and events not mentioned in general knowledge sources. A significant number of neural architectures for this task (neural readers) have recently been developed and evaluated on large cloze-style datasets. We present experiments supporting the existence of logical structure in the hidden state vectors of such as the Attentive Reader and Stanford Reader. The logical structure of aggregation readers reflects the architecture of reference such as the Attention-Sum Reader, the Gated Attention Reader and the Attention-over-Attention Reader. This relationship between aggregation readers and explicit reference readers presents a case study in emergent logical structure. In an independent contribution, we show that the addition of linguistics features to the input to existing neural readers significantly boosts performance yielding the best results to date on the Who-did-What datasets.

研究动机与目标

• 调查神经阅读器的隐藏状态向量是否表现出涌现的逻辑结构。
• 分析聚合阅读器与显式引用阅读器在结构对齐方面的关系。
• 评估在神经阅读器模型中添加语言学特征对阅读理解性能的影响。
• 在 Who-did-What 的 cloze 风格阅读理解基准上实现最先进性能。

提出的方法

• 在 Attentive Reader 和 Stanford Reader 等成熟神经阅读器模型上进行实验，以分析隐藏状态表示。
• 将聚合阅读器（如 Attention-Sum、Gated Attention、Attention-over-Attention）与显式引用阅读器进行比较，以识别结构上的相似性。
• 将语言学特征整合到现有神经阅读器的输入中，以增强其理解能力。
• 在 Who-did-What 数据集上评估性能，该数据集是一个 cloze 风格的阅读理解基准。

实验结果

研究问题

• RQ1 神经阅读器的隐藏状态向量是否表现出与显式架构设计相匹配的涌现逻辑结构？
• RQ2 聚合阅读器的结构模式与显式引用阅读器的结构模式相比如何？
• RQ3 语言学特征在多大程度上提升了神经阅读理解模型的性能？
• RQ4 将语言学特征整合是否能带来在 Who-did-What 数据集上的最先进结果？

主要发现

• 如 Attention-Sum 阅读器这样的聚合阅读器的隐藏状态向量表现出与显式引用阅读器架构一致的逻辑结构。
• 门控注意力阅读器和 Attention-over-Attention 阅读器表现出与显式引用机制相似的结构，表明存在涌现的逻辑组织。
• 在现有神经阅读器中添加语言学特征，使其在 Who-did-What 数据集上的性能显著提升。
• 改进后的模型在 Who-did-What 基准上取得了迄今最佳结果，确立了新的最先进水平。