[논문 리뷰] DiffSharp: Automatic Differentiation Library

Atılım Güneş Baydin, Barak A. Pearlmutter외 1명|arXiv (Cornell University)|2015. 11. 24.

Parallel Computing and Optimization Techniques참고 문헌 12인용 수 5

한 줄 요약

DiffSharp는 F#로 구현된 고성능 자동 미분(AD) 라이브러리로, 전진 및 역방향 AD 모드를 지원하고 태깅을 통한 임의의 중첩과 선형 대수 기능을 제공한다. BLAS/LAPACK 백엔드를 활용하여 최소한의 오버헤드로 정확한 기울기, 헤시안, 야코비안, 방향 도함수 계산이 가능하며, 향후 GPU 가속 기능도 지원한다.

ABSTRACT

In this paper we introduce DiffSharp, an automatic differentiation (AD) library designed with machine learning in mind. AD is a family of techniques that evaluate derivatives at machine precision with only a small constant factor of overhead, by systematically applying the chain rule of calculus at the elementary operator level. DiffSharp aims to make an extensive array of AD techniques available, in convenient form, to the machine learning community. These including arbitrary nesting of forward/reverse AD operations, AD with linear algebra primitives, and a functional API that emphasizes the use of higher-order functions and composition. The library exposes this functionality through an API that provides gradients, Hessians, Jacobians, directional derivatives, and matrix-free Hessian- and Jacobian-vector products. Bearing the performance requirements of the latest machine learning techniques in mind, the underlying computations are run through a high-performance BLAS/LAPACK backend, using OpenBLAS by default. GPU support is currently being implemented.

연구 동기 및 목표

• 현대 기계 학습 워크로드에 최적화된 유연하고 고성능의 AD 라이브러리를 제공한다.
• 초기미분 계산과 같은 고급 최적화 기법을 가능하게 하기 위해 전진 및 역방향 AD 모드의 임의의 중첩을 지원한다.
• 고계수 함수와 조합을 강조하는 기능 프로그래밍 API를 제공하여 모델 조합 구축을 용이하게 한다.
• 계산 오버헤드를 최소화하기 위해 AD 기능과 효율적인 선형 대수 연산을 통합한다.
• 컴pile-time 코드 변환과 희소성 활용을 통해 향후 GPU 가속 및 성능 최적화를 지원한다.

제안 방법

• 기울기 계산을 위해 기계 정밀도 수준에서 기반을 두고, AD 기능이 탑재된 선형 대수 기능을 사용하는 연산자 오버로딩을 적용한다.
• 중첩된 AD 계산에서 편향 혼동을 방지하기 위해 태깅 메커니즘을 활용한다.
• 고성능 BLAS/LAPACK 연산을 위해 OpenBLAS와 통합하며, 비-BLAS 연산에 대해서는 커스텀 병렬 구현을 제공한다.
• 기울기, 헤시안, 야코비안, 방향 도함수 및 행렬 없는 곱셈을 지원하는 기능 프로그래밍 API를 노출한다.
• 런타임 오버헤드를 줄이기 위해 향후 컴파일 타임 소스 변환 기반 AD를 위해 F#의 코드 서브stituion을 활용한다.
• CUDA를 통한 GPU 지원을 확장하고, 그래프 색칠 및 압축 기법을 활용해 행렬의 희소성을 활용할 계획이다.

실험 결과

연구 질문

• RQ1 기계 학습에서 자동 미분를 효율적이고 안전하게 중첩된 구성에서 조합할 수 있는가?
• RQ2 역방향 및 전진 AD 모드를 사용할 때 고계수 도함수와 야코비안을 계산할 경우 발생하는 성능 오버헤드는 얼마인가?
• RQ3 일급 함수 미분 원칙을 갖춘 기능 프로그래밍 접근 방식이 더 모듈화되고 조합 가능한 기계 학습 모델을 가능하게 하는가?
• RQ4 고성능이고 확장 가능한 라이브러리에서 자동 미분를 선형 대수 연산과 효율적으로 통합할 수 있는가?
• RQ5 실제 기계 학습 워크로드에서, 특히 스칼라 및 벡터 값 함수에 대해 자동 미분의 실용적 성능 특성은 어떠한가?

주요 결과

• 헤르츠홀츠 자유 에너지 함수에 대한 역방향 AD 오버헤드 요소 ωr은 독립 변수 수 n이 증가함에 따라 渐近적으로 2에 수렴한다.
• 기울기 계산에 대해 유한한 계산 오버헤드를 달성하였으며, 일반적인 함수에서 ωr ≤ 3를 만족하는 '저비용 기울기 원칙'과 일관된다.
• 태깅 기반의 미분 덕분에 전진 및 역방향 AD의 임의의 중첩이 편향 혼동 없이 지원된다.
• 기능 프로그래밍 API는 최적화 알고리즘, 신경망, 확률 모델의 간결하고 조합 가능한 구현을 가능하게 한다.
• OpenBLAS 통합과 요소별 연산에 대한 커스텀 병렬 구현 덕분에 성능이 가속된다.
• F# 코드 서브stituion을 통한 향후 컴파일 타임 변환은 런타임 오버헤드를 추가로 줄이고 사용자 코드를 단순화할 것으로 기대된다.