[논문 리뷰] DyNet: The Dynamic Neural Network Toolkit

Graham Neubig, Chris Dyer외 23명|arXiv (Cornell University)|2017. 01. 15.

Topic Modeling참고 문헌 48인용 수 344

한 줄 요약

DyNet는 실행 중에 계산 그래프를 즉시 구성하는 동적 선언 신경망 도구 키트를 도입하여 입력마다 가변 아키텍처 및 빠른 프로토타이핑을 가능하게 한다.

ABSTRACT

We describe DyNet, a toolkit for implementing neural network models based on dynamic declaration of network structure. In the static declaration strategy that is used in toolkits like Theano, CNTK, and TensorFlow, the user first defines a computation graph (a symbolic representation of the computation), and then examples are fed into an engine that executes this computation and computes its derivatives. In DyNet's dynamic declaration strategy, computation graph construction is mostly transparent, being implicitly constructed by executing procedural code that computes the network outputs, and the user is free to use different network structures for each input. Dynamic declaration thus facilitates the implementation of more complicated network architectures, and DyNet is specifically designed to allow users to implement their models in a way that is idiomatic in their preferred programming language (C++ or Python). One challenge with dynamic declaration is that because the symbolic computation graph is defined anew for every training example, its construction must have low overhead. To achieve this, DyNet has an optimized C++ backend and lightweight graph representation. Experiments show that DyNet's speeds are faster than or comparable with static declaration toolkits, and significantly faster than Chainer, another dynamic declaration toolkit. DyNet is released open-source under the Apache 2.0 license and available at http://github.com/clab/dynet.

연구 동기 및 목표

• 딥 러닝 툴링에서 빠른 프로토타이핑 및 유연한 아키텍처의 필요성을 입증한다.
• 계산 그래프의 선언과 실행을 통일하는 동적 선언 프로그래밍 모델을 제안한다.
• 경량 백엔드를 사용하여 동적 그래프 구성이 효율적으로 구현될 수 있음을 보여준다.
• 자연어 처리 작업에서 순환 네트워크 및 트리 구조 네트워크와 같은 사용 사례를 시연한다.

제안 방법

• Theano, TensorFlow, CNTK에서 사용되는 정적 계산 그래프의 대안으로 동적 선언을 도입한다.
• 전방 평가 중에 암시적 계산 그래프가 구성되는 경량 C++ 백엔드를 구현한다.
• 핵심 구성요소: Parameter, LookupParameter, Model, Expression, Trainer를 제공하고 학습을 위한 역전파를 수행한다.
• 그래프 유형을 단순하게 유지하면서 호스트 언어(C++/Python)로 동적 네트워크 구조, 재귀, 흐름 제어를 지원한다.
• RNN, 트리 구조 네트워크, 미니 배치 및 데이터 병렬 다중 처리에 대한 네이티브 지원을 제공한다.
• 고수준 프로그래밍 예제와 두 가지 동적 그래프 구성 시연(TreeRNN 및 동적 흐름 제어)을 제시한다.

실험 결과

연구 질문

• RQ1 동적 그래프 구성이 학습 예제별로 정적 선언 툴킷의 효율성과 일치하거나 그 이상일 수 있는가?
• RQ2 동적 선언이 가변 크기 또는 구조 입력(예: 시퀀스, 트리, 그래프) 및 동적 흐름 제어를 구현하는 데 어떻게 도움이 되는가?
• RQ3 통합된 동적 프로그래밍 모델이 신경망 모델의 빠른 프로토타이핑 및 디버깅에 미치는 영향은 무엇인가?

주요 결과

• DyNet은 실험에서 정적 선언 툴킷과 비슷한 실행 속도를 달성하고 Chainer보다 빠르다.
• 동적 선언은 트리 구조 네트워크 및 가변 길이 입력과 같은 동적 아키텍처 구현을 단순화한다.
• 이 도구는 재귀 및 트리 구조 네트워크에 대한 네이티브 지원과 효율적인 미니 배치 및 다중 처리 기능을 제공한다.
• 그래프 구성 오버헤드는 최적화된 C++ 백엔드와 경량 그래프 표현으로 최소화된다.
• DyNet은 Apache 2.0 라이선스 하에 오픈 소스이다.