[논문 리뷰] Demystifying Differentiable Programming: Shift/Reset the Penultimate Backpropagator

Fei Wang, Zheng, Daniel외 4명|arXiv (Cornell University)|2018. 03. 27.

Advanced Neural Network Applications참고 문헌 59인용 수 13

한 줄 요약

이 논문은 구분자 연속성(Shift/Reset)을 사용하여 역방향 자동 미분(AD)의 새로운 간소화된 공식을 제안하며, 보조 데이터 구조 없이 연산자 오버로딩을 통한 효율적이고 표현력 있는 미분 프로그래밍을 가능하게 한다. 이와 동시에 다단계 프로그래밍을 결합함으로써, 텐서플로의 계산 그래프의 효율성과 파이토치의 명령형 스타일의 유연성을 통합한 고성능 딥러닝 프레임워크인 Lantern을 구축한다.

ABSTRACT

Deep learning has seen tremendous success over the past decade in computer vision, machine translation, and gameplay. This success rests in crucial ways on gradient-descent optimization and the ability to learn parameters of a neural network by backpropagating observed errors. However, neural network architectures are growing increasingly sophisticated and diverse, which motivates an emerging quest for even more general forms of differentiable programming, where arbitrary parameterized computations can be trained by gradient descent. In this paper, we take a fresh look at automatic differentiation (AD) techniques, and especially aim to demystify the reverse-mode form of AD that generalizes backpropagation in neural networks. We uncover a tight connection between reverse-mode AD and delimited continuations, which permits implementing reverse-mode AD purely via operator overloading and without any auxiliary data structures. We further show how this formulation of AD can be fruitfully combined with multi-stage programming (staging), leading to a highly efficient implementation that combines the performance benefits of deep learning frameworks based on explicit reified computation graphs (e.g., TensorFlow) with the expressiveness of pure library approaches (e.g., PyTorch).

연구 동기 및 목표

• 프로그래밍 언어 연구자들에게 구분자 연속성과의 연결을 통해 역방향 자동 미분(AD)을 명확히 드러내기 위해.
• 역방향 AD에서 명시적인 테이프나 추적 데이터 구조의 필요성을 제거하기 위해, Shift/Reset 제어 연산자를 사용하기 위해.
• 정의-다음-실행 프레임워크(예: 텐서플로)의 성능와 정의-실행-기반 프레임워크(예: 파이토치)의 표현력을 스테이징과 연속성으로 통합하기 위해.
• 순수하게 국소적이고 연산자 오버로딩 기반의 변환을 통해, 재귀나 고계 함수를 포함한 임의의 프로그램에서도 기울기 계산을 가능하게 하기 위해.
• 실행 시점에 계산 그래프를 재현하는 동시에 제한 없는 제어 흐름을 지원하는 고성능 딥러닝 도메인 특화 언어(DSL)인 Lantern을 구축하기 위해.

제안 방법

• 역방향 AD를 CPS 변환된 프로그램의 기호적 미분으로 공식화하여, 깊이 있는 연속성과의 연결을 드러내기 위해.
• Shift/Reset 제어 연산자를 사용하여 역방향 AD를 구현하여, 보조 테이프를 관리하지 않고도 순수하게 국소적이고 연산자 오버로딩 기반의 미분을 가능하게 하기 위해.
• 연속성 기반 AD 공식을 다단계 프로그래밍(스테이징)과 통합하여 런타임에 효율적인 재현된 계산 그래프를 생성하기 위해.
• 스칼라에서 Lightweight Modular Staging(LMS) 프레임워크를 사용하여 스테이징과 연속성 기반 AD를 원활하게 조합하여 DSL 구축하기 위해.
• 최종적으로 생성된 DSL을 C++/CUDA로 컴파일하여 고성능 실행을 달성하고, 인퍼런스 및 훈련 속도에서 기존 프레임워크와 경쟁 가능한 성능 확보하기 위해.
• 중첩된 Shift/Reset을 사용하여 다수준 CPS 변환을 인코딩하여, 복잡한 제어 흐름과 중첩된 추상화를 정확하게 처리하기 위해.

실험 결과

연구 질문

• RQ1 역방향 자동 미분은 명시적인 테이프 관리 없이, 구분자 연속성과 연산자 오버로딩을 통해 순수하게 표현될 수 있는가?
• RQ2 정의-실행-기반 프레임워크(예: 파이토치)의 표현력과 정의-다음-실행 프레임워크(예: 텐서플로)의 성능을 하나의 시스템에서 어떻게 통합할 수 있는가?
• RQ3 연속성은 임의의 일급 계산, 특히 재귀나 고계 함수에 대한 기울기 계산을 어떻게 가능하게 하는가?
• RQ4 제한 없는 제어 흐름을 지원하면서도 효율적인 그래프 수준 최적화 및 컴파일이 가능한 딥러닝 프레임워크를 구축할 수 있는가?
• RQ5 범주 이론이나 복잡한 데이터 구조에 의존하지 않는 더 단순하고 기초적인 역방향 AD의 공식은 존재하는가?

주요 결과

• 역방향 AD는 Shift/Reset을 사용한 순수한 연산자 오버로딩을 통해 실현 가능하며, 명시적인 테이프나 추적 데이터 구조의 필요성을 제거한다.
• 역방향 AD와 구분자 연속성 간의 연결은, 미분 프로그래밍을 위한 깔끔하고 국소적이며 조합 가능한 기초를 제공한다.
• 연속성 기반 AD와 다단계 프로그래밍을 조합함으로써, 동적 제어 흐름과 효율적인 그래프 수준 컴파일을 모두 지원하는 프레임워크를 실현할 수 있다.
• 최종적으로 도출된 프레임워크인 Lantern은 SqueezeNet, ResNet, DeepSpeech2, TreeLSTM와 같은 최신 모델에서 경쟁 가능한 성능을 달성하여 기존 프레임워크의 속도와 효율성에 맞추거나 초월한다.
• 이 방법은 일반적인 재귀와 고계 함수를 네이티브로 지원하여, 이전의 명시적 데이터 구조에 의존하는 AD 시스템에서의 핵심적 한계를 극복한다.
• 구현은 딥러닝 프레임워크가 두 개의 상호 수직적인 추상화, 즉 스테이징과 구분자 연속성의 조합으로 이해될 수 있음을 보여준다.