[논문 리뷰] maxDNN: An Efficient Convolution Kernel for Deep Learning with Maxwell GPUs

Andrew Lavin|arXiv (Cornell University)|2015. 01. 27.

Speech and Audio Processing참고 문헌 2인용 수 32

한 줄 요약

maxDNN는 NVIDIA Maxwell GPU용으로 매우 효율적인 컨볼루션 커널로, cuda-convnet2의 메모리 액세스 패턴과 Maxas SGEMM의 저수준 어셈블리 최적화를 결합하여 Overfeat에서 96.3%의 계산 효율성을 달성하고, AlexNet v.2에서는 최대 95.5%의 효율성을 기록한다. 이는 128비트 텍스처 로드, 더블 버퍼링, 공유 메모리 토일링을 활용한 결과이다. 이 커널은 수동 최적화된 어셈블리 코드가 딥러닝 워크로드에서 높이 최적화된 BLAS 커널과 경쟁할 수 있음을 보여준다.

ABSTRACT

This paper describes maxDNN, a computationally efficient convolution kernel for deep learning with the NVIDIA Maxwell GPU. maxDNN reaches 96.3% computational efficiency on typical deep learning network architectures. The design combines ideas from cuda-convnet2 with the Maxas SGEMM assembly code. We only address forward propagation (FPROP) operation of the network, but we believe that the same techniques used here will be effective for backward propagation (BPROP) as well.

연구 동기 및 목표

• NVIDIA Maxwell GPU에서 딥러닝을 위한 매우 효율적인 컨볼루션 커널을 개발하여, 높은 피크 처리량에도 불구하고 계산 효율성의 격차를 해소한다.
• Maxas SGEMM에서 사용된 저수준 어셈블리 최적화 기법이 컨볼루션 커널에 효과적으로 적용되어 최고 성능에 가까운 성능을 달성할 수 있음을 입증한다.
• 계산 효율성(클럭당 FLOPs로 측정)이 기존 라이브러리인 cuDNN보다 훨씬 향상될 수 있음을 보여주며, 다양한 네트워크 아키텍처에서의 성능 향상을 강조한다.
• 유사한 최적화 기법이 컨volutional 네트워크의 역전파(BPROP)로도 확장될 수 있음을 입증하는 개념적 실증을 제공한다.

제안 방법

• maxDNN는 기반으로 Maxas SGEMM64 커널을 재사용하고, 각 출력 맵 좌표를 입력 패치와 필터 가중치 간의 행렬 곱셈으로 간주하여 컨볼루션을 수행하도록 수정한다.
• 색인 오버헤드를 줄이고 최대 배열 크기를 늘리기 위해 128비트 텍스처 로드를 사용하며, 메모리 연속성 향상과 글로벌 메모리 지연 숨기기 효과도 있다.
• 글로벌 메모리와 공유 메모리 로드에 더블 버퍼링을 적용하여 메모리 지연을 숨기고, 워프 동기화의 필요성을 줄이며, 할당도 향상시킨다.
• 공유 메모리를 사용해 출력 값의 재구성으로 코ales스드 글로벌 메모리 왤쓰를 가능하게 하고, 128비트 공유 메모리 로드를 통해 레지스터의 0 초기화를 달성한다.
• 각 반복에서 8열 토일링을 사용하고, 8x8 레지스터 블로킹을 적용하며, 계산 강도를 극대화하기 위해 64x64 공유 메모리 토일을 운영한다.
• 계산 효율성을 재정의하여, 직접 컨볼루션 알고리즘에 의해 반드시 필요한 FLOPs만을 기준으로 산정하고, 중복 연산은 제외한다.

실험 결과

연구 질문

• RQ1 SGEMM에서 사용된 저수준 어셈블리 최적화 기법이 컨볼루션 커널에 효과적으로 적용되어 Maxwell GPU에서 높은 계산 효율성을 달성할 수 있는가?
• RQ2 cuDNN이 같은 네트워크의 서로 다른 레이어 간에 계산 효율성에 큰 변동을 보이는 이유는 무엇이며, 이는 커스텀 튜닝된 커널로 개선될 수 있는가?
• RQ3 공유 메모리 블로킹 크기 및 필터 차원과의 정렬 정도가 계산 효율성에 얼마나 영향을 미치는가?
• RQ4 프로퍼게이션에서 사용된 동일한 최적화 전략이 컨volutional 네트워크의 역전파로도 확장될 수 있는가?
• RQ5 타일 크기의 배수로 나누어지지 않는 경우(예: 64의 배수가 아님) 계산 효율성에 어떤 영향을 미치며, 이를 최소화할 수 있는가?

주요 결과

• Overfeat 네트워크에서 maxDNN는 96.3%의 계산 효율성을 기록하여, cuDNN의 레이어 간 39.6%에서 74.0%의 범위를 크게 뛰어넘었다.
• AlexNet v.2에서는 maxDNN가 93.4%에서 95.5%의 효율성을 기록했고, cuDNN는 32.5%에서 57.6%의 효율성을 보여, 일관된 고성능을 입증했다.
• Overfeat의 첫 번째 레이어는 필터 수가 96으로 64×64 블록 크기의 배수가 아니어서 효율성이 70.3%에 그쳐, 정렬에 민감한 것을 보여준다.
• 필터 및 배치 크기가 타일 크기와 일치할 경우 계산 효율성 측정 기준이 불필요한 FLOPs를 제외함으로써 maxDNN의 효율성이 뛰어나게 유지됨을 드러냈다.
• 고성능 L2 캐시 히트율은 장치 메모리 대역폭이 병목이 아니라는 것을 시사하며, 다른 블록 크기를 사용해 추가 최적화의 여지를 보여준다.
• 저자들은 maxDNN가 수동 최적화된 어셈블리 코드로 Maxwell GPU에서 고효율 컨볼루션을 달성할 수 있음을 입증하며, 최고의 SGEMM 실행 구현과도 견줄 수 있음을 결론내린다.