[논문 리뷰] Accelerating Feedforward Computation via Parallel Nonlinear Equation Solving

Yang Song, Chenlin Meng외 2명|arXiv (Cornell University)|2020. 02. 10.

Model Reduction and Neural Networks참고 문헌 30인용 수 5

한 줄 요약

이 논문은 신경망과 순차적 모델의 순전파 계산을 가속화하기 위한 새로운 방법을 제안한다. 이는 병렬화 가능한 자코비 및 가우스-Seidel 고정점 반복을 사용해 비선형 연립방정식을 푸는 방식으로 재구성함으로써 이루어진다. 이 방법은 순차적 연산을 병렬 실행할 수 있도록 하면서도 최소한의 오차 허용 범위 내에서 정확한 출력을 유지함으로써, 자코비 반복 기반으로는 자동회귀 샘플링에서 최대 26배, RNN 훈련에서는 2배 이상의 가속 효과를 달성한다.

ABSTRACT

Feedforward computation, such as evaluating a neural network or sampling from an autoregressive model, is ubiquitous in machine learning. The sequential nature of feedforward computation, however, requires a strict order of execution and cannot be easily accelerated with parallel computing. To enable parallelization, we frame the task of feedforward computation as solving a system of nonlinear equations. We then propose to find the solution using a Jacobi or Gauss-Seidel fixed-point iteration method, as well as hybrid methods of both. Crucially, Jacobi updates operate independently on each equation and can be executed in parallel. Our method is guaranteed to give exactly the same values as the original feedforward computation with a reduced (or equal) number of parallelizable iterations, and hence reduced time given sufficient parallel computing power. Experimentally, we demonstrate the effectiveness of our approach in accelerating (i) backpropagation of RNNs, (ii) evaluation of DenseNets, and (iii) autoregressive sampling of MADE and PixelCNN++, with speedup factors between 2.1 and 26 under various settings.

연구 동기 및 목표

• 신경망과 자동회귀 모델에서 순전파 계산의 본질적인 순차적 병목 현상을 해결하기 위해.
• 비선형 방정식의 수치적 해법을 활용해 기존에 순차적일 수밖에 없었던 순전파 과정의 병렬화를 가능하게 하기 위해.
• RNN 훈련, 디ensaNet 추론, 자동회귀 샘플링 등 다양한 머신러닝 워크로드에 적용 가능한 일반적인 방법을 개발하기 위해.
• 이론적 병렬성 외에도 실제 하드웨어에서 표준 장비를 사용해 실제 모델에 대해 실질적인 가속 효과를 보여주기 위해.
• 반복적 해법에서의 조기 정지 기법을 통해 근사 오차와 계산 시간 사이의 트레이드오���을 탐색하기 위해.

제안 방법

• 각 레이어나 단계가 하나의 방정식에 해당하는 비선형 연립방정식의 삼각형 시스템으로 순전파 계산을 재구성한다.
• 모든 변수를 독립적으로 갱신하므로 방정식 간에 완전한 병렬화가 가능한 자코비 고정점 반복을 적용한다.
• 방정식을 순차적으로 처리하므로 표준 순전파 계산과 정확히 일치하는 기준선으로서 가우스-Seidel 반복을 사용한다.
• 자코비와 가우스-Seidel 반복을 조합한 하이브리드 방법을 개발하여 병렬성과 수렴 품질의 균형을 이룬다.
• 반복적 해법이 점차 정확한 근사를 제공하므로, 정밀도를 떨어뜨려 속도를 높이기 위해 조기 정지를 가능하게 한다.
• 비선형 시스템의 수렴성과 안정성을 향상시키기 위해 수치적 연속성과 리듬 조절 기법을 활용한다.

실험 결과

연구 질문

• RQ1 신경망과 자동회귀 모델의 순전파 계산이 비선형 연립방정식 풀이로 재구성됨으로써 병렬화를 통해 가속화될 수 있는가?
• RQ2 본질적으로 병렬인 자코비 유형 반복이 표준 순차적 순전파 계산의 정확도를 어느 정도 유지할 수 있는가?
• RQ3 하이브리드 자코비-가우스-Seidel 방법은 순수 자코비 또는 순수 가우스-Seidel 접근 방식에 비해 속도와 정확도 측면에서 어떻게 향상되는가?
• RQ4 이 방법을 사용해 RNN, 디ensaNet, 자동회귀 모델과 같은 실제 모델에서 실제로 얻을 수 있는 성능 향상은 어느 정도인가?
• RQ5 모델의 구조적 의존성 또는 구현 오버헤드로 인해 이 방법이 실패하거나 성능이 떨어지는 경우는 어떤가?

주요 결과

• 제안된 방법은 단일 GPU를 사용해 CIFAR-10 데이터셋에서 MADE의 조상 샘플링에서 최대 26배의 가속 효과를 달성한다.
• PixelCNN++ 샘플링에서는 MNIST에서 6.5배, CIFAR-10에서 2.1배의 가속 효과를 기록한다.
• RNN 훈련에서는 훈련 시간을 두 배 이상 단축시켜 역전파 과정에서의 빠른 가속 효과를 입증한다.
• 디ensaNet 추론에서는 자코비 방법이 약 2.1배의 가속 효과를 보이며, 구현 제약으로 인해 시뮬레이션을 통해 검증되었다.
• 하이브리드 자코비-가우스-Seidel 방법은 순수 자코비 또는 캐싱 기반 순전파 샘플링보다 뛰어난 성능을 보이며, 특히 캐싱이 효과를 발휘할 때 두각을 나타낸다.
• 이 방법은 순차적 단계 간의 의존성이 약한 경우에 가장 효과적이며, 소량의 수치 오차를 수용할 수 있을 때 가장 잘 작동한다.