[论文解读] DyNet: The Dynamic Neural Network Toolkit

Graham Neubig, Chris Dyer+23 more|arXiv (Cornell University)|Jan 15, 2017

Topic Modeling参考文献 48被引用 344

一句话总结

DyNet 引入了一种动态声明神经网络工具包，在执行过程中按需构建计算图，从而实现对输入的可变架构和快速原型设计。

ABSTRACT

We describe DyNet, a toolkit for implementing neural network models based on dynamic declaration of network structure. In the static declaration strategy that is used in toolkits like Theano, CNTK, and TensorFlow, the user first defines a computation graph (a symbolic representation of the computation), and then examples are fed into an engine that executes this computation and computes its derivatives. In DyNet's dynamic declaration strategy, computation graph construction is mostly transparent, being implicitly constructed by executing procedural code that computes the network outputs, and the user is free to use different network structures for each input. Dynamic declaration thus facilitates the implementation of more complicated network architectures, and DyNet is specifically designed to allow users to implement their models in a way that is idiomatic in their preferred programming language (C++ or Python). One challenge with dynamic declaration is that because the symbolic computation graph is defined anew for every training example, its construction must have low overhead. To achieve this, DyNet has an optimized C++ backend and lightweight graph representation. Experiments show that DyNet's speeds are faster than or comparable with static declaration toolkits, and significantly faster than Chainer, another dynamic declaration toolkit. DyNet is released open-source under the Apache 2.0 license and available at http://github.com/clab/dynet.

研究动机与目标

• 动员推动深度学习工具在快速原型设计和灵活架构方面的需求。
• 提出一种动态声明式编程模型，将计算图的声明与执行统一起来。
• 展示可以使用轻量级后端高效实现动态图构建。
• 展示在自然语言处理任务中使用循环网络和树状结构网络等用例。

提出的方法

• 引入动态声明作为 Theano、TensorFlow 和 CNTK 等静态计算图的替代方案。
• 实现一个轻量级的 C++ 后端，在前向评估期间构建隐式计算图。
• 提供核心组件：Parameter、LookupParameter、Model、Expression 和 Trainer，并具备用于学习的反向传播。
• 通过宿主语言（C++/Python）支持动态网络结构、递归和流程控制，同时保持图类型的简单性。
• 原生支持 RNN、树状网络、的小批量处理以及数据并行多处理。
• 展示高级编程示例以及两个动态图构建演示（TreeRNN 和 dynamic flow control）。

实验结果

研究问题

• RQ1 按训练样例进行的动态图构建是否能够达到或超过静态声明工具包的效率？
• RQ2 动态声明如何在实现可变大小或结构化输入（如序列、树、图）以及动态流程控制方面提供便利？
• RQ3 统一的动态编程模型对神经网络模型的快速原型设计和调试有何影响？

主要发现

• 在实验中，DyNet 的执行速度可与静态声明工具包相媲美，且比 Chainer 更快。
• 动态声明简化了实现诸如树状结构网络和可变长度输入等动态图架构。
• 该工具包原生支持循环网络和树状结构网络，并具备高效的小批量处理和多处理能力。
• 通过优化的 C++ 后端和轻量级图表示，将图构建开销降到最低。
• DyNet 在 Apache 2.0 许可证下开源。