[论文解读] Dynamic Neural Turing Machine with Soft and Hard Addressing Schemes

Çaǧlar Gülçehre, Sarath Chandar+2 more|arXiv (Cornell University)|Jun 30, 2016

Ferroelectric and Negative Capacitance Devices参考文献 40被引用 35

一句话总结

本文提出动态神经图灵机（D-NTM），一种新型NTM变体，通过在内存中结合可训练的地址向量与内容向量，学习一种非线性、基于位置的寻址机制。通过结合连续与离散注意力机制，D-NTM在Facebook bAbI任务上优于NTM和LSTM基线模型，其中离散注意力在情景式问答任务中表现更优，展现出更强的记忆控制能力与长期依赖学习能力。

ABSTRACT

We extend neural Turing machine (NTM) model into a dynamic neural Turing machine (D-NTM) by introducing a trainable memory addressing scheme. This addressing scheme maintains for each memory cell two separate vectors, content and address vectors. This allows the D-NTM to learn a wide variety of location-based addressing strategies including both linear and nonlinear ones. We implement the D-NTM with both continuous, differentiable and discrete, non-differentiable read/write mechanisms. We investigate the mechanisms and effects of learning to read and write into a memory through experiments on Facebook bAbI tasks using both a feedforward and GRUcontroller. The D-NTM is evaluated on a set of Facebook bAbI tasks and shown to outperform NTM and LSTM baselines. We have done extensive analysis of our model and different variations of NTM on bAbI task. We also provide further experimental results on sequential pMNIST, Stanford Natural Language Inference, associative recall and copy tasks.

研究动机与目标

• 为解决原始NTM中固定线性寻址的局限性，提出一种可学习的非线性位置寻址机制。
• 评估动态寻址机制是否能在复杂真实任务（如情景式问答与自然语言蕴涵）中实现更优性能。
• 探究在记忆网络中，离散、不可微注意力机制相较于连续、可微注意力机制的有效性。
• 评估D-NTM在多样化任务（包括算法基准与序列学习任务）中的泛化能力与可扩展性。
• 提供统一的模型架构，无需针对特定任务进行修改，从而实现与NTM及LSTM基线模型的公平比较。

提出的方法

• 通过引入双向量内存结构扩展NTM：每个内存单元同时存储可训练的内容向量与可学习的地址向量。
• 在读写内存时同时采用连续（可微）与离散（不可微）注意力机制。
• 使用GRU或前馈控制器，基于当前输入与内存状态生成读写操作。
• 采用带基线估计的REINFORCE算法训练离散注意力机制，实现在不可微情况下的端到端学习。
• 实施最近最少使用（LRU）内存管理策略，以处理内存分配与删除。
• 对使用离散注意力的前馈控制器采用课程学习，以提升训练稳定性和性能。

实验结果

研究问题

• RQ1 可学习的非线性寻址机制是否能提升神经图灵机在复杂真实任务中的性能？
• RQ2 在需要精确记忆检索的任务中，离散注意力是否优于连续注意力？
• RQ3 D-NTM是否能在无需任务特定架构修改的情况下，泛化至多样化任务（如bAbI、序列MNIST、SNLI与算法任务）？
• RQ4 D-NTM在处理长期依赖与情景记忆方面，相较于LSTM与标准NTM表现如何？
• RQ5 课程学习与注意力机制选择对模型学习复杂记忆交互能力的影响是什么？

主要发现

• D-NTM在完整的Facebook bAbI任务套件中优于NTM与LSTM基线模型，在全部18项任务中均取得更高准确率。
• 采用离散注意力与GRU控制器的D-NTM在斯坦福自然语言蕴涵（SNLI）任务上达到80.9%的测试准确率，优于LSTM（77.6%）与NTM（80.2%）。
• 在序列p-MNIST任务中，D-NTM展现出在学习长期依赖方面的优异性能，优于同类模型。
• 采用连续注意力的D-NTM成功解决复制与关联回忆任务，而离散注意力变体在关联回忆任务中失败，表明其对任务具有特定敏感性。
• 离散注意力机制在情景式问答任务中显著提升性能，表明其相比连续注意力能实现更精确的记忆访问。
• 采用课程学习的前馈控制器与离散注意力带来显著性能提升，凸显其在训练稳定性与收敛性中的关键作用。