[논문 리뷰] High Performance Zero-Memory Overhead Direct Convolutions

Jiyuan Zhang, Franz Franchetti외 1명|arXiv (Cornell University)|2018. 09. 20.

Advanced Neural Network Applications참고 문헌 18인용 수 32

한 줄 요약

이 논문은 메모리 오버헤드 없이 CPU에서 최신의 행렬 곱셈 기반 컨볼루션 방법보다 10%에서 400% 높은 성능을 달성하는 고성능 직접 컨볼루션 구현을 제시한다. 최적화된 데이터 레이아웃과 효율적인 루프 타일링을 통해 패킹 비용을 제거하고, 전문가가 최적화한 BLAS 루틴조차도 앞서는 성능을 발휘하며, 다중 스레드 간에 효율적으로 스케일링된다.

ABSTRACT

The computation of convolution layers in deep neural networks typically rely on high performance routines that trade space for time by using additional memory (either for packing purposes or required as part of the algorithm) to improve performance. The problems with such an approach are two-fold. First, these routines incur additional memory overhead which reduces the overall size of the network that can fit on embedded devices with limited memory capacity. Second, these high performance routines were not optimized for performing convolution, which means that the performance obtained is usually less than conventionally expected. In this paper, we demonstrate that direct convolution, when implemented correctly, eliminates all memory overhead, and yields performance that is between 10% to 400% times better than existing high performance implementations of convolution layers on conventional and embedded CPU architectures. We also show that a high performance direct convolution exhibits better scaling performance, i.e. suffers less performance drop, when increasing the number of threads.

연구 동기 및 목표

• 행렬 곱셈 기반 컨볼루션 구현에서 데이터 패킹으로 인한 높은 메모리 오버헤드와 성능 저하 문제를 해결하기 위해.
• 적절히 최적화된 직접 컨볼루션은 성능과 메모리 효율성 측면에서 매우 최적화된 행렬 곱셈 루틴을 능가할 수 있음을 입증하기 위해.
• 추가 메모리가 표준 저장 방식을 초과하지 않는 입력, 출력 및 커널 가중치를 위한 새로운 데이터 레이아웃을 설계하기 위해.
• 다중 코어 CPU에서 최소한의 성능 저하로 컨볼루션을 효율적으로 병렬화할 수 있도록 하기 위해.
• 이를 기반으로 GPU로의 이식과 역전파 계산 최적화를 위한 기반을 마련하기 위해.

제안 방법

• 중간 데이터 패킹이나 복제 없이 컨볼루션을 계산하는 맞춤형 직접 컨볼루션 커널을 제안한다.
• 입력 특징 맵, 출력 특징 맵, 커널 가중치를 위한 새로운 데이터 레이아웃을 도입하여, 메모리 효율성을 유지하면서도 높은 산술 집중도를 달성한다.
• 루프 타일링과 스레드 수준의 병렬 처리를 활용하여 CPU 아키텍처에서의 데이터 재사용과 캐시 효율성을 극대화한다.
• 성능을 극대화하기 위해 루프 네스트의 최적의 차단 파라미터를 특정하기 위해 자동 최적화 또는 분석 기법을 사용한다.
• 기존에 GPU에 최적화된 연산인 StridedBatchedGemm을 활용하여, cuBLAS 8.0를 통해 NVIDIA GPU로의 이식 가능성을 확보한다.
• SGEMM 및 행렬 곱셈 루틴과의 성능을 정규화하여 상대적 성과 향상을 입증한다.

실험 결과

연구 질문

• RQ1 직접 컨볼루션 구현이 원시 성능과 메모리 효율성 측면에서 매우 최적화된 행렬 곱셈 기반 컨볼루션 루틴을 능가할 수 있는가?
• RQ2 데이터 패킹을 제거함으로써 기존 딥러닝 추론 파이프라인에서 주요 성능 저하 요인을 제거할 수 있는가?
• RQ3 다중 코어 CPU에서 직접 컨볼루션의 병렬 스케일링 능력은 행렬 곱셈 기반 접근 방식과 비교해 어떻게 되는가?
• RQ4 직접 컨볼루션은 인텔, AMD, ARM 아키텍처를 포함한 다양한 CPU 아키텍처에서 최고 성능에 가까운 성능을 달성할 수 있는가?
• RQ5 기존 최적화된 커널을 활용해 제안된 직접 컨볼루션 방법을 GPU 아키텍처로 이식할 수 있는가?

주요 결과

• 제안된 직접 컨볼루션 구현은 SGEMM 기반 방법 대비 10%에서 400% 높은 성능을 달성하며, 인텔 MKL와 같은 전문가가 최적화한 BLAS 라이브러리조차도 앞선다.
• 모든 데이터 패킹과 복제를 피하기 때문에 메모리 오버헤드가 전혀 없으며, 이는 메모리 제약이 있는 임베디드 및 엣지 장치에 매우 적합하다.
• 스레드 수가 증가함에 따라 코어당 성능 저하가 최소한으로 발생하여, 행렬 곱셈 기반 방법보다 뛰어난 스케일링 성능을 보인다.
• 인텔, AMD, ARM 아키텍처에서 각각 이론적 최고 성능의 87.5%, 58.2%, 88.9%를 달성한다.
• 물리적 코어 수까지 효율적으로 스케일링되며, 코어 수를 초과하는 스레드 수로 전환할 때만 심각한 성능 저하가 발생하여 자원 활용이 효과적임을 보여준다.
• 저자들은 자동 최적화 또는 루프 차단 파라미터의 분석 최적화를 통해 고성능 컴퓨팅(HPC) 행렬에서 직접 컨볼루션과 SGEMM 간의 성능 격차를 해소할 수 있음을 입증한다.