[논문 리뷰] Recognition of convolutional neural network based on CUDA Technology

Yibin Huang, Kang Li외 4명|arXiv (Cornell University)|2015. 05. 30.

Advanced Algorithms and Applications참고 문헌 1인용 수 6

한 줄 요약

이 논문은 NVIDIA GTX200 GPU에서 CUDA 기술을 사용하여 병렬 인식 알고리즘을 제안하며, 순차적 CPU 구현 대비 60배의 성능 향상을 달성한다. GPU 기반 스트림 처리가 최적화된 데이터 구조와 CUDA 아키텍처에 대한 작업 매핑 덕분에 CNN 추론에 있어 CPU보다 훨씬 더 효율적임을 입증한다.

ABSTRACT

For the problem whether Graphic Processing Unit(GPU),the stream processor with high performance of floating-point computing is applicable to neural networks, this paper proposes the parallel recognition algorithm of Convolutional Neural Networks(CNNs).It adopts Compute Unified Device Architecture(CUDA)technology, definite the parallel data structures, and describes the mapping mechanism for computing tasks on CUDA. It compares the parallel recognition algorithm achieved on GPU of GTX200 hardware architecture with the serial algorithm on CPU. It improves speed by nearly 60 times. Result shows that GPU based the stream processor architecture ate more applicable to some related applications about neural networks than CPU.

연구 동기 및 목표

• GPU 스트림 프로세서가 신경망 계산에 적용 가능한지 조사하기 위해.
• 고성능 부동소수점 연산을 위한 CUDA를 사용한 병렬 CNN 인식 알고리즘 설계를 위해.
• 속도와 효율성 측면에서 GPU 기반 CNN 추론을 기존 CPU 구현과 비교하기 위해.
• CNN 워크로드에 대해 CUDA 매핑 메커니즘과 데이터 구조의 효과를 평가하기 위해.

제안 방법

• 저자들은 GTX200 GPU 하드웨어에서 Compute Unified Device Architecture(CUDA)를 사용하여 병렬 CNN 인식 알고리즘을 구현한다.
• CNN 레이어 내에서 메모리 액세스와 데이터 흐름을 최적화하기 위해 특수화된 병렬 데이터 구조를 정의한다.
• CNN 계산 작업을 CUDA 커널에 매핑하는 방식을 명시적으로 기술하여 효율적인 GPU 실행을 가능하게 한다.
• 동일한 네트워크 아키텍처와 입력 데이터를 사용하여 시리얼 CPU 구현과의 벤치마크를 수행한다.
• 실행 시간과 CPU 기준 대비 속도 향상의 관점에서 성능을 측정한다.
• 컨볼루션 및 완전 연결 레이어에 중점을 두며, 딥러닝에서 흔한 부동소수점 연산을 중심으로 연구한다.

실험 결과

연구 질문

• RQ1 기존 CPU에 비해 GPU 스트림 프로세서가 CNN 추론을 상당히 가속화할 수 있는가?
• RQ2 CUDA는 CNN 계산 작업을 병렬 GPU 실행 단위에 효과적으로 매핑할 수 있는가?
• RQ3 시리얼 CNN 알고리즘을 GPU 실행을 위해 재설계함으로써 얻을 수 있는 성능 향상은 어느 정도인가?
• RQ4 사용자 정의 병렬 데이터 구조는 CNN에서 메모리 액세스와 계산 처리량에 어떤 영향을 미치는가?

주요 결과

• GPU 기반 CNN 구현은 순차적 CPU 버전 대비 거의 60배의 속도 향상을 달성했다.
• 결과는 GPU 스트림 처리가 특정 신경망 워크로드에 대해 CPU보다 더 적합함을 확인한다.
• CUDA를 활용한 병렬 데이터 구조와 작업 매핑이 계산 효율성을 크게 향상시켰다.
• 성능 향상은 GTX200 GPU의 고정밀 부동소수점 기능과 막대한 병렬 처리 능력 덕분이다.
• 이 연구는 GPU 가속이 CNN 추론 작업에 대해 실현 가능하고 매우 효과적임을 입증한다.