[논문 리뷰] Fast Convolutional Nets With fbfft: A GPU Performance Evaluation

Nicolas Vasilache, Jeff Johnson외 4명|arXiv (Cornell University)|2014. 12. 24.

Advanced Neural Network Applications참고 문헌 14인용 수 251

한 줄 요약

이 논문은 GPU 가속화된 합성곱 신경망을 위한 최적화된 오픈소스 FFT 라이브러리인 fbfft를 제안하며, 딥러닝 워크로드에 맞게 조정된 알고리즘 최적화를 통해 cuFFT 대비 1.5배 이상, cuDNN 대비 최대 23.5배의 성능 향상을 달성한다. 이는 합성곱 영역에서의 변환, 내장 메모리 재사용, 주파수 도메인 합성곱을 위한 맞춤형 커널 융합을 포함한다.

ABSTRACT

We examine the performance profile of Convolutional Neural Network training on the current generation of NVIDIA Graphics Processing Units. We introduce two new Fast Fourier Transform convolution implementations: one based on NVIDIA's cuFFT library, and another based on a Facebook authored FFT implementation, fbfft, that provides significant speedups over cuFFT (over 1.5x) for whole CNNs. Both of these convolution implementations are available in open source, and are faster than NVIDIA's cuDNN implementation for many common convolutional layers (up to 23.5x for some synthetic kernel configurations). We discuss different performance regimes of convolutions, comparing areas where straightforward time domain convolutions outperform Fourier frequency domain convolutions. Details on algorithmic applications of NVIDIA GPU hardware specifics in the implementation of fbfft are also provided.

연구 동기 및 목표

• 현대 GPU에서 딥러닝 워크로드에 특화된 주파수 도메인 합성곱을 활용하여 합성곱 신경망(CNN) 학습의 성능 저하 문제를 해결한다.
• 딥러닝에서 흔한 작은 특징 평면과 큰 미니배치를 처리하는 데 있어 cuFFT 및 cuDNN과 같은 기존 GPU FFT 라이브러리의 한계를 극복한다.
• 다양한 합성곱 레이어 구성에 대해 cuFFT와 cuDNN을 모두 능가하는 고도로 최적화된 커스텀 FFT 구현(fbfft)을 개발한다.
• 타일링, 비동기 FFT 사전계산, 내장 메모리 관리와 같은 알고리즘 최적화를 통해 GPU 활용도를 향상시키고 메모리 압박을 줄인다.

제안 방법

• 합성곱 정리에 기반해 주파수 도메인 합성곱을 구현한다: 입력과 커널을 FFT로 주파수 도메인으로 변환하고, 점별 곱셈을 수행한 후 IFFT를 통해 출력을 얻는다.
• 1D 및 2D 배치 변환에 최적화된, 처음부터 구현한 오픈소스 GPU FFT 라이브러리 fbfft를 개발하며, 2의 거듭제곱 크기와 암시적 패딩을 지원하여 메모리 오버헤드를 줄인다.
• 타일링을 적용해 큰 합성곱을 작은 크기의 부분으로 분해함으로써 복잡도를 O(n log n)에서 O(n log w)로 감소시켜, 작은 크기(8–64)에서 fbfft의 고성능를 효율적으로 활용할 수 있도록 한다.
• FFT 결과 재사용, 비동기적 가중치 FFT 사전계산, 불필요한 일시적 버퍼 제거를 통해 메모리 접근과 커널 실행 오버헤드를 최적화한다.
• 메모리 대역폭과 커널 실행 비용을 줄이기 위해 내장 메모리에서의 전치 및 점별 곱셈 커널을 통합 구현한다.
• 작은 FFT 크기에서 비트 역전 순서를 제거하기 위해 DIF/DIT FFT 변형을 활용하여 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 현대 GPU에서 일반적인 딥러닝 워크로드를 대상으로 주파수 도메인 합성곱이 FFT를 통해 시간 도메인 합성곱보다 성능 면에서 뛰어나게 되는가?
• RQ2 cuFFT와 cuDNN의 성능 특성은 작은 특징 평면과 큰 미니배치를 포함한 다양한 합성곱 레이어 구성에서 어떻게 비교되는가?
• RQ3 딥러닝 워크로드의 도메인 특수 패턴을 활용해 커스텀 FFT 구현(fbfft)이 black-box 라이브러리인 cuFFT보다 얼마나 성능 향상을 이룰 수 있는가?
• RQ4 타일링, 메모리 재사용, 커널 융합과 같은 알고리즘 최적화 중에서 FFT 기반 합성곱에서 지연 시간을 최소화하고 GPU 활용도를 극대화하는 데 가장 효과적인 것은 무엇인가?
• RQ5 작은 FFT 크기(8–64)에서 fbfft의 성능 이점을 타일링과 메모리 관리 전략을 통해 더 큰 합성곱으로 확장할 수 있는가?

주요 결과

• fbfft는 대상 문제 영역 내 합성곱 연산에서 cuFFT 대비 평균 1.51배의 성능 향상을 달성했으며, 많은 구성에서 1.5배 이상의 성능 향상을 기록했다.
• fbfft를 사용한 FFT 기반 합성곱 구현은 특정 합성 커널 구성에서는 cuDNN 대비 최대 23.5배 빠르며, 일반적인 레이어 크기에서는 1.4배에서 14.5배의 성능 향상을 달성했다.
• 작은 크기의 합성곱(8–64)에서는 최적화된 메모리 접근, 감소된 커널 실행 오버헤드, 암시적 패딩 덕분에 fbfft가 cuFFT 대비 1.5배 이상 빠른 성능을 보였다.
• 타일링 전략은 큰 합성곱의 점근적 복잡도를 O(n log n)에서 O(n log w)로 감소시켜, 작은 크기에서의 높은 성능를 효율적으로 활용할 수 있도록 했다.
• 레이어 간 FFT 결과 재사용과 비동기적 가중치 FFT 사전계산을 통해 메모리 압박을 줄였으며, GPU 활용도를 향상시키고 일시적 버퍼 사용을 감소시켰다.
• 저자들은 특정 경우에서 GPU 효율성 비율이 75%를 초과함을 입증하며, 알고리즘 및 메모리 최적화를 통해 GPU 계산 자원을 고도로 활용함을 보였다.