[논문 리뷰] Auto-Differentiating Linear Algebra

Matthias Seeger, Asmus Hetzel외 3명|arXiv (Cornell University)|2017. 10. 24.

Gaussian Processes and Bayesian Inference참고 문헌 18인용 수 17

한 줄 요약

이 논문은 MXNet 딥러닝 프레임워크에 차분선형대수 연산자(코レス키 분해, LQ 분해, 대칭 고유값 분해, 특이값 분해)를 도입하여 딥뉴럴넷과 베이지안 방법(예: 가우시안 프로세스, 칼만 필터)을 조합한 하이브리드 모델의 엔드 투 엔드 학습을 가능하게 한다. 구현은 최소한의 메모리 오버헤드로 고도로 최적화된 인-place BLAS/LAPACK 호출을 활용하여 CPU에서 세 배 이상의 속도 향상을, GPU에서는 텐서플로우 대비 일관된 성능 향상을 달성한다.

ABSTRACT

Development systems for deep learning (DL), such as Theano, Torch, TensorFlow, or MXNet, are easy-to-use tools for creating complex neural network models. Since gradient computations are automatically baked in, and execution is mapped to high performance hardware, these models can be trained end-to-end on large amounts of data. However, it is currently not easy to implement many basic machine learning primitives in these systems (such as Gaussian processes, least squares estimation, principal components analysis, Kalman smoothing), mainly because they lack efficient support of linear algebra primitives as differentiable operators. We detail how a number of matrix decompositions (Cholesky, LQ, symmetric eigen) can be implemented as differentiable operators. We have implemented these primitives in MXNet, running on CPU and GPU in single and double precision. We sketch use cases of these new operators, learning Gaussian process and Bayesian linear regression models, where we demonstrate very substantial reductions in implementation complexity and running time compared to previous codes. Our MXNet extension allows end-to-end learning of hybrid models, which combine deep neural networks (DNNs) with Bayesian concepts, with applications in advanced Gaussian process models, scalable Bayesian optimization, and Bayesian active learning.

연구 동기 및 목표

• 딥러닝 시스템에서 핵심 선형대수 기초 연산자에 대한 효율적이고 자동 미분 기능을 제공하기 위해.
• 기존 기계학습 모델(예: 가우시안 프로세스, 베이지안 선형 회귀 등)의 구현 복잡도와 런타임을 감소시키기 위해.
• 변분 오토에인코더 및 딥 가우시안 프로세스를 포함한 딥러닝과 베이지안 모델의 하이브리드 모델을 지원하기 위해.
• 인-플레이스 연산과 최적화된 BLAS/LAPACK 라이브러리의 직접 사용을 통해 성능을 최적화하기 위해.
• 표준 신경망 레이어를 초월해 딥러닝 프레임워크의 기능을 기초 기계학습 알고리즘까지 확장하기 위해.

제안 방법

• MXNet에 코レス키, LQ, 대칭 고유값, 특이값 분해를 첫 번째 등급의 미분 가능한 연산자로 구현하기 위해.
• 고성능을 확보하기 위해 최저수준의 C++ 인터페이스를 사용해 최적화된 BLAS 및 LAPACK 루틴을 직접 호출하기 위해.
• 임시 메모리 할당을 최소화하고 메모리 효율을 향상시키기 위해 인-플레이스 연산을 설계하기 위해.
• CPU와 GPU에서 단정밀도 및 双정밀도 부동소수점 산술을 모두 지원하기 위해.
• 유연한 모델 구축을 위해 MXNet의 심벌릭 및 즉시실행 API(Gluon)에 연산자를 통합하기 위해.
• 각 연산자에 대해 역방향 미분 규칙을 유도하고, 전체 역방향 전파 도식을 부록에 제공하기 위해.

실험 결과

연구 질문

• RQ1 코レス키 분해나 SVD와 같은 행렬 분해가 딥러닝 프레임워크 내에서 미분 가능하고 효율적으로 실행될 수 있는가?
• RQ2 선형대수 기초 연산자를 첫 번째 등급의 연산자로 노출시킴으로써 얻을 수 있는 성능 향상과 구현 복잡도 감소는 어느 정도인가?
• RQ3 이러한 연산자를 사용함으로써 딥뉴럴넷과 베이지안 방법을 조합한 하이브리드 모델은 얼마나 단순화되고 가속화될 수 있는가?
• RQ4 제안된 MXNet 연산자의 성능 특성은 텐서플로우 및 파이토치의 기존 구현과 비교해 어떻게 되는가?
• RQ5 이 연산자들은 최소한의 코드 변경으로도 스케일러블한 신규 모델(예: 스토하스틱 변분 딥 가우시안 프로세스)을 가능하게 할 수 있는가?

주요 결과

• MXNet에서 구현한 기저 선형대수 연산자는 동등한 텐서플로우 연산 대비 CPU에서 인텔 MKL을 사용해 세 배 이상 빠른 실행 속도를 기록한다.
• 모든 테스트 워크로드에서 GPU 성능이 텐서플로우를 일관되게 초월하며, 인-플레이스 연산으로 인해 메모리 사용량도 감소한다.
• 최소한의 코드 변경으로 새로운 모델인 스토하스틱 변분 딥 가우시안 프로세스(SV-DGP)를 구현하여, 5-20-50 아키텍처에서 VAE-DGP(723.65) 대비 더 높은 테스트 로그우도(724.83)를 달성했다.
• 이 구현은 복잡한 하이브리드 모델(예: 변분 오토에인코더와 결합한 딥 가우시안 프로세스)의 엔드 투 엔드 학습을 가능하게 하며, 코드 복잡도를 크게 감소시켰다.
• 최적화된 인-플레이스 BLAS 및 LAPACK 호출을 사용함으로써 최소한의 메모리 오버헤드를 기록하여, 가우시안 프로세스나 칼만 스무딩과 같은 메모리 집약적인 응용 분야에 적합하다.
• MXNet의 Gluon API를 통해 정적 및 동적 계산 그래프를 모두 지원하여 하이브리드 모델에 대한 영리한 실험을 가능하게 한다.