[论文解读] Linguistic Knowledge as Memory for Recurrent Neural Networks

Bhuwan Dhingra, Zhilin Yang+2 more|arXiv (Cornell University)|Mar 7, 2017

Topic Modeling参考文献 34被引用 34

一句话总结

该论文提出 MAGE-RNN，一种通过类型化、长距离边将符号语言学知识（如指代消解和上下位关系）整合到循环网络中的记忆增强型 RNN 框架。通过将所得图分解为有向无环子图，并为每种边类型学习独立的表示，MAGE-RNN 实现了显式的、结构化的记忆访问，在 CNN、bAbi 和 LAMBADA 基准测试中取得最先进结果，包括仅使用每项任务 1,000 个训练样本即解决 15/20 个 bAbi 任务。

ABSTRACT

Training recurrent neural networks to model long term dependencies is difficult. Hence, we propose to use external linguistic knowledge as an explicit signal to inform the model which memories it should utilize. Specifically, external knowledge is used to augment a sequence with typed edges between arbitrarily distant elements, and the resulting graph is decomposed into directed acyclic subgraphs. We introduce a model that encodes such graphs as explicit memory in recurrent neural networks, and use it to model coreference relations in text. We apply our model to several text comprehension tasks and achieve new state-of-the-art results on all considered benchmarks, including CNN, bAbi, and LAMBADA. On the bAbi QA tasks, our model solves 15 out of the 20 tasks with only 1000 training examples per task. Analysis of the learned representations further demonstrates the ability of our model to encode fine-grained entity information across a document.

研究动机与目标

• 为解决在训练数据有限的情况下建模序列数据中长距离依赖关系的挑战。
• 通过将符号语言学知识（如指代消解和上下位关系）整合到循环神经网络中，提升文本理解能力。
• 设计一种记忆增强型 RNN 架构，显式利用外部知识引导记忆访问，而非仅依赖数据驱动的注意力或记忆机制。
• 在基准文本理解任务中实现卓越性能，尤其在低数据设置下表现优异。
• 证明结构化的语言学知识可作为序列建模的有效归纳偏置，即使模型端到端训练也能发挥作用。

提出的方法

• 通过表示语言关系（如指代消解、上下位关系）的类型化、长距离边增强输入序列，将序列转化为含环的图。
• 利用原始序列顺序作为拓扑排序，将所得图分解为两个有向无环图（DAG），实现高效、单次遍历计算。
• 提出 MAGE-RNN 框架，在每个节点处为每种边类型维护独立的隐藏状态和记忆表示，实现类型特异的信息传播。
• 实现基于 GRU 的变体 MAGE-GRU，用 MAGE-GRU 单元替换现有模型中的标准 GRU 单元，将语言学记忆整合到序列模型中。
• 对模型参数化，学习沿每种边类型传播的独立表示，使网络能够通过符号信号选择性地关注相关远距离元素。
• 使用指代消解工具提取实体提及，并通过边连接，将这些链接作为显式记忆信号整合进 RNN。

实验结果

研究问题

• RQ1 符号语言学知识（如指代消解和上下位关系）能否有效用于引导 RNN 中的记忆访问？
• RQ2 将结构化的语言关系作为类型化边整合，是否能提升在低数据设置下的长距离依赖建模能力？
• RQ3 将语言关系视为显式记忆信号的记忆增强型 RNN 框架，是否能在文本理解任务中超越标准 RNN 和基于注意力的模型？
• RQ4 当使用外部知识时，模型性能在有限训练数据下的扩展特性如何？
• RQ5 MAGE-RNN 在长文档中对细粒度实体级信息的编码能力有多强？

主要发现

• MAGE-RNN 在 CNN 数据集上达到最先进性能，MAGE-GRU (32) 测试准确率达到 0.786，MAGE-GRU (16) 达到 0.792，优于之前最先进方法 0.7%。
• 在 bAbi QA 任务中，模型仅使用每项任务 1,000 个训练样本即成功解决 15 项任务，展现出在低数据设置下的强大泛化能力。
• MAGE-GRU 模型在 CNN 上相较 BiGRU 基线提升 2.5 个百分点（测试集准确率从 0.704 提升至 0.729），且无需额外数据。
• 模型优于普通 GRU 和将指代 ID 作为独热特征注入的基线模型，证明显式记忆优于特征注入。
• 对学习表示的分析表明，MAGE-RNN 能有效在文档间编码细粒度的实体信息，支持准确的指代消解。
• 该框架具有良好的泛化能力：将 BiDAF 中的 GRU 单元替换为 MAGE-GRUs 后性能持续提升，证实其在不同架构中的兼容性与有效性。