[论文解读] Improving the Neural GPU Architecture for Algorithm Learning

Kārlis Freivalds, Renārs Liepiņš|arXiv (Cornell University)|Feb 28, 2017

Neural Networks and Applications参考文献 23被引用 26

一句话总结

该论文通过引入饱和度损失和对角门控机制，改进了使用硬激活函数的神经GPU架构，实现了更快的训练速度和对更长序列的鲁棒泛化能力。增强后的模型通过二进制数字编码实现了端到端的十进制乘法学习，能够在输入长度达到100倍时保持低于1%的误差——这是该框架中首次成功实现十进制乘法的端到端学习。

ABSTRACT

Algorithm learning is a core problem in artificial intelligence with significant implications on automation level that can be achieved by machines. Recently deep learning methods are emerging for synthesizing an algorithm from its input-output examples, the most successful being the Neural GPU, capable of learning multiplication. We present several improvements to the Neural GPU that substantially reduces training time and improves generalization. We introduce a new technique - hard nonlinearities with saturation costs- that has general applicability. We also introduce a technique of diagonal gates that can be applied to active-memory models. The proposed architecture is the first capable of learning decimal multiplication end-to-end.

研究动机与目标

• 解决原始神经GPU在学习算法时泛化能力差和训练速度慢的问题。
• 实现十进制乘法的端到端学习，这是原始架构未能达成的目标。
• 通过架构和优化改进，提升训练速度和模型稳定性。
• 识别出实现对任意长输入序列鲁棒泛化的关键组件。
• 在保持或提升算法学习任务性能的同时，简化模型架构。

提出的方法

• 引入带有饱和度损失的硬激活函数，以稳定训练并改善泛化能力。
• 引入对角门控机制，提升活跃记忆模型中的内存访问效率。
• 用直接参数共享替代参数共享的松弛处理，以简化架构。
• 采用更大的学习率配合AdaMax优化器，并引入梯度裁剪以提升收敛性。
• 同时在多个输入长度上进行训练，以增强泛化能力。
• 将十进制数字编码为4位二进制格式，以支持十进制乘法的端到端训练。

实验结果

研究问题

• RQ1 哪些架构改进能够提升神经GPU在算法学习任务中的训练速度和泛化能力？
• RQ2 为何在相似训练设置下，某些模型能泛化到长序列，而另一些则失败？
• RQ3 神经GPU能否实现十进制乘法的端到端学习？若能，需何种输入编码方式？
• RQ4 与软激活函数相比，带有饱和度损失的硬激活函数在泛化能力和训练稳定性方面表现如何？
• RQ5 对角门控机制在提升训练动态和模型性能方面发挥了什么作用？

主要发现

• 该模型在800次训练步骤内学会二进制乘法，相比原始神经GPU的30,000次步骤，减少了97%。
• 所有训练完成的模型在输入长度为训练样本100倍时，误差均低于1%。
• 当十进制数字以4位二进制格式编码时，模型成功实现了十进制乘法的端到端学习。
• 在五组训练的十进制乘法模型中，有两组能将泛化能力扩展到50位数字的输入，且误差低于1%。
• 带有饱和度损失的硬激活函数是实现良好泛化的最关键因素，其表现优于软激活函数以及无损失的硬激活函数。
• 缺少对角门控机制会导致训练速度更慢且更不稳定，证实了其在架构中的重要性。