[논문 리뷰] Large Scale Artificial Neural Network Training Using Multi-GPUs

Linnan Wang, Wei Wu외 2명|arXiv (Cornell University)|2015. 11. 13.

Neural Networks and Applications참고 문헌 9인용 수 5

한 줄 요약

이 논문은 대규모 인공신경망(ANN) 학습을 가속화하기 위해 전방 및 역전파 단계를 행렬 연산을 통해 최적화하는 외부 메모리 다중 GPU 행렬 곱셈 프레임워크를 제안한다. 이는 이질적인 GPU 여러 대에서 선형적인 속도 향상을 달성하여 대규모 모델 학습의 효율성을 크게 향상시킨다.

ABSTRACT

This paper describes a method for accelerating large scale Artificial Neural Networks (ANN) training using multi-GPUs by reducing the forward and backward passes to matrix multiplication. We propose an out-of-core multi-GPU matrix multiplication and integrate the algorithm with the ANN training. The experiments demonstrate that our matrix multiplication algorithm achieves linear speedup on multiple inhomogeneous GPUs. The full paper of this project can be found at [1].

연구 동기 및 목표

• 대규모 인공신경망 학습에서 발생하는 계산 병목 현상을 해결하기 위해.
• 데이터가 개별 GPU 메모리 용량을 초과하더라도 다중 GPU 간 효율적인 행렬 곱셈을 가능하게 하기 위해.
• 다중 GPU 학습에서 이질적인 GPU 구성 간에 선형적인 확장성을 달성하기 위해.
• 최적화된 행렬 곱셈을 전체 ANN 학습 파이프라인에 통합하여 성능 향상을 이루기 위해.

제안 방법

• 이 방법은 대규모 행렬을 여러 GPU에 나누어 저장함으로써 개별 GPU 메모리 용량을 초과하는 데이터를 처리할 수 있도록 하는 외부 메모리 행렬 곱셈 알고리즘을 사용한다.
• GPU 간 통신 오버헤드를 최소화하기 위해 데이터 이동과 계산의 오버랩을 최적화한다.
• 역전파의 전방 및 역전파 단계에 직접 행렬 곱셈을 통합하여 알고리즘 복잡도를 행렬 연산으로 단순화한다.
• GPU 성능에 따라 동적으로 작업 부하를 분배함으로써 이질적인 GPU 클러스터를 지원한다.
• 통신 지연을 숨기고 자원 활용도를 향상시키기 위해 비동기 통신 패턴을 사용한다.
• 표준 CPU 기반 또는 단일 GPU 연산을 대체하여 GPU 가속 행렬 커널로 대체하는 딥러닝 학습 파이프라인에 이 방법을 통합한다.

실험 결과

연구 질문

• RQ1 외부 메모리 행렬 곱셈은 다중 GPU 시스템에서 대규모 신경망의 효율적 학습을 가능하게 하는가?
• RQ2 제안된 방법은 다수의 이질적인 GPU에서 선형적인 속도 향상을 달성하는가?
• RQ3 최적화된 행렬 곱셈의 통합은 딥 신경망의 전체 학습 스루풋에 어떤 영향을 미치는가?
• RQ4 통신 및 메모리 관리의 영향은 분산 다중 GPU 학습에서 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 외부 메모리 행렬 곱셈은 여러 이질적인 GPU에서 선형적인 속도 향상을 달성하여 강력한 확장성을 입증하였다.
• 이 방법은 GPU 메모리와 계산 자원을 장치 간 효율적으로 활용함으로써 대규모 신경망의 학습 시간을 줄였다.
• ANN 학습 파이프라인에 최적화된 행렬 연산을 통합함으로써 전방 및 역전파 단계의 처리 속도가 크게 향상되었다.
• 동적 부하 분배 덕분에 다양한 GPU 성능을 가진 환경에서도 GPU 활용도가 높게 유지되었다.
• 비동기 데이터 전송과 효율적인 메모리 접근 패턴을 통해 통신 오버헤드가 최소화되었다.