[논문 리뷰] JANUS: Fast and Flexible Deep Learning via Symbolic Graph Execution of Imperative Programs

Eunji Jeong, Sung‐Woo Cho외 4명|arXiv (Cornell University)|2018. 12. 04.

Parallel Computing and Optimization Techniques인용 수 9

한 줄 요약

JANUS는 지배적 파이썬 프로그램을 상징적 데이터플로우 그래프로 컴파일하는 딥러닝 시스템으로, 높은 성능 실행을 가능하게 하면서도 지배적 프로그래밍의 유연성을 유지한다. 동적 기능인 제어 흐름과 타입을 정적 분석을 통해 처리함으로써, JANUS는 텐서플로우와 같은 상징적 프레임워크 수준의 학습 속도를 달성하면서도 동적이고 사용자 友好的인 코드를 지원한다.

ABSTRACT

The rapid evolution of deep neural networks is demanding deep learning (DL) frameworks not only to satisfy the requirement of quickly executing large computations, but also to support straightforward programming models for quickly implementing and experimenting with complex network structures. However, existing frameworks fail to excel in both departments simultaneously, leading to diverged efforts for optimizing performance and improving usability. This paper presents JANUS, a system that combines the advantages from both sides by transparently converting an imperative DL program written in Python, the de-facto scripting language for DL, into an efficiently executable symbolic dataflow graph. JANUS can convert various dynamic features of Python, including dynamic control flow, dynamic types, and impure functions, into elements of a symbolic dataflow graph. Experiments demonstrate that JANUS can achieve fast DL training by exploiting the techniques imposed by symbolic graph-based DL frameworks, while maintaining the simple and flexible programmability of imperative DL frameworks at the same time.

연구 동기 및 목표

• 딥러닝 프레임워크에서 성능과 사용성 사이의 오랜 상충 관계를 해결하기 위해.
• 유연성을 포기하지 않고도 동적 지배적 딥러닝 프로그램의 효율적 실행을 가능하게 하기 위해.
• 동적 제어 흐름, 동적 타입, 부수 효과 함수와 같은 복잡한 동적 기능을 상징적 실행 프레임워크에서 지원하기 위해.
• 지배적 프레임워크(예: 파이토치)와 상징적 프레임워크(예: 텐서플로우)의 장점을 결합함으로써 그 격차를 메우기 위해.
• 연구자가 자연스럽고 읽기 쉬운 파이썬 코드를 작성할 수 있도록 하면서도 고속 학습을 달성할 수 있도록 투명한 컴파일 파이프라인을 제공하기 위해.

제안 방법

• 딥러닝을 위해 작성된 지배적 파이썬 코드를 분석하여 상징적 계산 그래프를 추출하기 위해.
• 제어 흐름 구조(예: if-else, 반복문)를 그래프 내 조건부 또는 반복 연산으로 간주함으로써 상징적으로 실행하기 위해.
• 프로그램의 정적 분석 중에 타입 정보를 추론하고 전파함으로써 동적 타이핑을 처리하기 위해.
• 부수 효과를 유발하는 함수(예: 부수 효과가 있는 연산)를 제어된 부수 효과를 가진 그래프 노드로 표현함으로써 정확성을 유지하기 위해.
• 기존 상징적 프레임워크에서의 기법(예: 커널 융합, 메모리 재사용)을 활용하여 결과 그래프를 최적화하기 위해.
• 최적화된 그래프를 고성능 백엔드와 통합하여 GPU에서 효율적으로 실행하기 위해.

실험 결과

연구 질문

• RQ1 동적 제어 흐름을 가진 지배적 딥러닝 프로그램이 표현력 손실 없이 효율적으로 상징적 데이터플로우 그래프로 컴파일될 수 있는가?
• RQ2 상징적 실행 프레임워크에서 동적 타이핑과 부수 효과 함수를 얼마나 잘 지원할 수 있으며, 성능 저하 없이 수행될 수 있는가?
• RQ3 지배적 코드의 상징적 컴파일이 자연스러운 상징적 프레임워크 수준의 학습 속도를 달성하면서도 지배적 프로그래밍의 사용성은 유지할 수 있는가?
• RQ4 시스템은 동적 구조(예: 동적 계산 그래프)를 가진 복잡한 실제 딥러닝 모델을 효율적으로 처리할 수 있는가?
• RQ5 표준 벤치마크에서 JANUS의 성능가 파이토치와 같은 지배적 프레임워크와 텐서플로우와 같은 상징적 프레임워크와 비교해 어떻게 되는가?

주요 결과

• JANUS는 텐서플로우와 같은 상징적 프레임워크 수준의 학습 속도를 달성하여, 동적 기능이 성능에 영향을 주지 않음을 입증했다.
• 시스템은 동적 제어 흐름과 동적 타입을 가진 모델을 성공적으로 컴파일하여 복잡한 사용자 정의 신경망 아키텍처에 대한 완전한 지원을 가능하게 했다.
• 실험 결과, 반복 네트워크와 동적 그래프 네트워크를 포함한 다양한 딥러닝 워크로드에서 JANUS가 높은 성능를 유지하는 것으로 나타났다.
• 상징적 그래프 컴파일 과정에서 최소한의 오버헤드가 발생하여, 실행 시간이 자연스러운 상징적 프레임워크와 유사했다.
• JANUS는 연구자가 자연스럽고 읽기 쉬운 파이썬 코드를 작성할 수 있도록 하면서도 저지연, 고스루풋 학습을 달성하여 사용성과 성능을 효과적으로 통합했다.
• 시스템은 조건문과 반복문이 반복마다 다를 수 있는 실제 모델에서도 뛰어난 견고성을 보였다.