[論文レビュー] DyNet: The Dynamic Neural Network Toolkit

Graham Neubig, Chris Dyer+23 more|arXiv (Cornell University)|Jan 15, 2017

Topic Modeling参考文献 48被引用数 344

ひとこと要約

DyNetは、実行時に計算グラフをその場で構築する動的宣言型ニューラルネットワークツールキットを導入し、入力ごとに可変なアーキテクチャと迅速なプロトタイピングを実現します。

ABSTRACT

We describe DyNet, a toolkit for implementing neural network models based on dynamic declaration of network structure. In the static declaration strategy that is used in toolkits like Theano, CNTK, and TensorFlow, the user first defines a computation graph (a symbolic representation of the computation), and then examples are fed into an engine that executes this computation and computes its derivatives. In DyNet's dynamic declaration strategy, computation graph construction is mostly transparent, being implicitly constructed by executing procedural code that computes the network outputs, and the user is free to use different network structures for each input. Dynamic declaration thus facilitates the implementation of more complicated network architectures, and DyNet is specifically designed to allow users to implement their models in a way that is idiomatic in their preferred programming language (C++ or Python). One challenge with dynamic declaration is that because the symbolic computation graph is defined anew for every training example, its construction must have low overhead. To achieve this, DyNet has an optimized C++ backend and lightweight graph representation. Experiments show that DyNet's speeds are faster than or comparable with static declaration toolkits, and significantly faster than Chainer, another dynamic declaration toolkit. DyNet is released open-source under the Apache 2.0 license and available at http://github.com/clab/dynet.

研究の動機と目的

• 深層学習ツールリングにおける迅速なプロトタイピングと柔軟なアーキテクチャの必要性を動機づける。
• 計算グラフの宣言と実行を統合する動的宣言プログラミングモデルを提案する。
• 軽量なバックエンドでの動的グラフ構築が効率的に実装できることを示す。
• NLPタスクにおける再帰的および木構造ネットワークなどの事例を示す。

提案手法

• Theano、TensorFlow、CNTKで用いられる静的計算グラフの代替として動的宣言を導入する。
• 順伝搬評価中に構築される暗黙の計算グラフを備えた軽量なC++バックエンドを実装する。
• 学習のための逆伝搬を備えたParameter、LookupParameter、Model、Expression、Trainerというコアコンポーネントを提供する。
• グラフタイプを単純に保ちながら、C++/Pythonなどのホスト言語を介して動的なネットワーク構造、再帰、およびフロー制御をサポートする。
• RNNs、木構造ネットワーク、ミニバッチ処理、およびデータ並列なマルチプロセシングに対するネイティブサポートを提供する。
• 高レベルのプログラミング例と2つの動的グラフ構築デモ（TreeRNNと動的フロー制御）を提示する。

実験結果

リサーチクエスチョン

• RQ1 訓練例ごとに動的グラフ構築を行うことで、静的宣言ツールキットと同等かそれ以上の効率を達成できるか？
• RQ2 動的宣言は、可変長・構造化入力（例：シーケンス、木、グラフ）および動的フロー制御の実装をどのように容易にするか？
• RQ3 統一された動的プログラミングモデルがニューラルモデルの迅速なプロトタイピングとデバッグに与える影響は何か？

主な発見

• 実験では、DyNetは静的宣言ツールキットと同等の実行速度を達成し、Chainerよりも速い。
• 動的宣言は、木構造ネットワークや可変長入力などの動的アーキテクチャの実装を簡素化する。
• 本ツールキットは再帰的ネットワークと木構造ネットワークのネイティブサポートと、効率的なミニバッチ処理およびマルチプロセッシングを提供する。
• 最適化されたC++バックエンドと軽量なグラフ表現により、グラフ構築のオーバーヘッドを最小化する。
• DyNetは Apache 2.0 ライセンスの下でオープンソースです。