[논문 리뷰] On-the-fly Operation Batching in Dynamic Computation Graphs

Graham Neubig, Yoav Goldberg외 1명|arXiv (Cornell University)|2017. 05. 22.

Advanced Neural Network Applications참고 문헌 23인용 수 27

한 줄 요약

이 논문은 동적 계산 그래프에서 신경망 연산의 자동 배치 처리 알고리즘을 제안하며, 수동 조작 없이도 효율적이고 실시간으로 배치 처리를 수행할 수 있도록 한다. 레이지 평가와 연산자 오버로딩을 활용하여 프레임워크는 실행 중에 연산을 최적화된 배치로 동적으로 그룹화한다. 이로 인해 수동으로 최적화된 배치와 유사한 처리량을 달성하며, 트리LSTM 및 양방향LSTM와 같은 다양한 아키텍처에서 CPU 기준 최대 9.2배, GPU 기준 최대 8.6배의 성능 향상을 기록한다.

ABSTRACT

Dynamic neural network toolkits such as PyTorch, DyNet, and Chainer offer more flexibility for implementing models that cope with data of varying dimensions and structure, relative to toolkits that operate on statically declared computations (e.g., TensorFlow, CNTK, and Theano). However, existing toolkits - both static and dynamic - require that the developer organize the computations into the batches necessary for exploiting high-performance algorithms and hardware. This batching task is generally difficult, but it becomes a major hurdle as architectures become complex. In this paper, we present an algorithm, and its implementation in the DyNet toolkit, for automatically batching operations. Developers simply write minibatch computations as aggregations of single instance computations, and the batching algorithm seamlessly executes them, on the fly, using computationally efficient batched operations. On a variety of tasks, we obtain throughput similar to that obtained with manual batches, as well as comparable speedups over single-instance learning on architectures that are impractical to batch manually.

연구 동기 및 목표

• 시퀀스, 트리, 그래프와 같은 복잡하고 구조가 변하는 데이터를 처리할 때 동적 신경망 툴킷에서의 하드웨어 활용도 저하 문제를 해결한다.
• 불규칙하거나 동적 계산 그래프를 가진 모델에서 개발자가 수동으로 연산을 효율적인 배치로 정리하는 부담을 줄인다.
• DyNet과 같은 동적 프레임워크에서 동적 그래프 구축의 유연성을 유지하면서도 자동 배치 처리를 통해 고성능 추론 및 훈련을 가능하게 한다.
• 수동으로 최적화된 배치 구현과 유사한 성능을 달성할 수 있음을 입증하며, 특히 수동 배치 처리가 비현실적이거나 실수의 위험이 큰 복잡한 아키텍처에서도 효과적임을 보여준다.

제안 방법

• 연산자 오버로딩과 레이지 평가를 활용해 계산 그래프 구축과 실행을 분리하여 런타임 시 연산 분석이 가능하도록 한다.
• 실행 중인 순방향 전파 동안 효율적인 배치로 연산을 그룹화하기 위해 경량의 실시간 배치 히우리스틱(의사결정 기반 또는 깊이 기반)을 적용한다.
• 그래프 탐색 메커니즘을 사용해 함께 배치할 수 있는 연산을 식별하고 융합함으로써 중복 계산과 메모리 접근을 최소화한다.
• 명령줄 플래그 (--dynet-autobatch 1)를 통해 DyNet 프레임워크에 배치 처리 논리를 통합하여 코드 수정 없이도 투명하게 기능을 활성화할 수 있도록 한다.
• 런타임에 개별 연산을 배치 형태로 변환함으로써 기존에 최적화된 GEMM 및 텐서 연산을 활용한다.
• 표준 신경망 컴포onent(예: BiLSTM, TreeLSTM)와의 호환성을 유지하면서도 자동 배치 처리를 통해 처리량을 투명하게 향상시킨다.

실험 결과

연구 질문

• RQ1 동적 계산 그래프에서 자동 연산 배치 처리가 수동으로 최적화된 배치 구현과 유사한 성능을 달성할 수 있는가?
• RQ2 불규칙하거나 구조가 변하는 계산 그래프를 가진 모델(예: TreeLSTM 또는 길이가 변하는 입력을 가진 순차 모델)에서 자동 배치 처리가 처리량을 얼마나 향상시킬 수 있는가?
• RQ3 정적 그래프 프레임워크(예: TensorFlow Fold)와 비교했을 때 제안된 자동 배치 처리 프레임워크의 처리량과 효율성은 어떠한가?
• RQ4 의사결정 기반과 깊이 기반 등의 다양한 배치 히우리스틱이 배치 처리 과정의 효율성과 성능 향상에 미치는 영향은 어떠한가?
• RQ5 수동 배치 처리가 비현실적이거나 실수의 위험이 큰 복잡한 모델에 대해 자동 배치 처리가 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 자동 배치 알고리즘은 단일 인스턴스 훈련 대비 CPU 기준 최대 9.2배, GPU 기준 최대 8.6배의 성능 향상을 기록하며 개발자 노력은 최소한으로 유지된다.
• 스탠퍼드 감성 트리뱅크 작업에서 DyNet의 자동 배치 처리 기능은 CPU에서 초당 93.6개의 트리를 처리했으며, 단일 인스턴스 평가 대비 46.7개/초에 비해 뚜렷한 성능 향상을 보였다.
• 의사결정 기반 배치 히우리스틱이 대부분의 벤치마크에서 깊이 기반 히우리스틱을 능가하여 복잡한 그래프 구조에 더 잘 적응하는 것으로 나타났다.
• BiLSTM, 문자 임베딩이 포함된 BiLSTM, TreeLSTM, 전이 기반 파싱 등 모든 평가 대상 작업에서 자동 배치 처리가 CPU 기준 3.6배에서 9.2배, GPU 기준 2.7배에서 8.6배의 일관된 성능 향상을 제공했다.
• DyNet의 자동 배치 처리 구현은 CPU 및 GPU 모두에서 TensorFlow Fold 기반 구현을 뛰어넘었으며, 특히 작은 배치 크기에서 TF Fold의 GPU 성능을 초월했다.
• 표준 파이썬 제어 흐름과 데이터 구조에 의존하는 프레임워크의 단순성 덕분에 도메인 특화 언어나 복잡한 추상화 없이도 복잡한 모델을 효율적으로 구현할 수 있음을 입증했다.