[논문 리뷰] Very Efficient Training of Convolutional Neural Networks using Fast Fourier Transform and Overlap-and-Add

Tyler Highlander, Andrés Rodríguez|arXiv (Cornell University)|2016. 01. 25.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 공간 도메인에서의 느린 컨볼루션 연산이 지배하는 딥 컨volution 신경망(CNN) 훈련의 계산 병목 현상을 줄이기 위해 빠른 푸리에 변환(FFT)과 오버랩-앤드-애드(OaA) 기법을 조합한 새로운 방법을 제안한다. 이로 인해 커널당 계산 복잡도가 O(N²n²)에서 O(N² log₂n)로 감소하며, 전방 및 역방향 전파에서 기존 컨볼루션 대비 최대 16.3배의 속도 향상을 달성한다. 특히 입력 크기 N이 커널 크기 n보다 훨씬 클 경우에 효과적이다.

ABSTRACT

Convolutional neural networks (CNNs) are currently state-of-the-art for various classification tasks, but are computationally expensive. Propagating through the convolutional layers is very slow, as each kernel in each layer must sequentially calculate many dot products for a single forward and backward propagation which equates to $\\mathcal{O}(N^{2}n^{2})$ per kernel per layer where the inputs are $N \ imes N$ arrays and the kernels are $n \ imes n$ arrays. Convolution can be efficiently performed as a Hadamard product in the frequency domain. The bottleneck is the transformation which has a cost of $\\mathcal{O}(N^{2}\\log_2 N)$ using the fast Fourier transform (FFT). However, the increase in efficiency is less significant when $N\\gg n$ as is the case in CNNs. We mitigate this by using the "overlap-and-add" technique reducing the computational complexity to $\\mathcal{O}(N^2\\log_2 n)$ per kernel. This method increases the algorithm's efficiency in both the forward and backward propagation, reducing the training and testing time for CNNs. Our empirical results show our method reduces computational time by a factor of up to 16.3 times the traditional convolution implementation for a 8 $\ imes$ 8 kernel and a 224 $\ imes$ 224 image.

연구 동기 및 목표

• 깊은 CNN 훈련에서 지배적인 느린 공간 도메인 컨볼루션 연산으로 인한 계산 병목 현상을 줄이기 위해.
• 특히 입력 크기 N ≫ 커널 크기 n일 경우, 푸리에 변환 비용을 최소화하여 주파수 도메인 컨볼루션의 효율성을 향상시키기 위해.
• 최적화된 FFT 기반 컨볼루션을 통해 모델 정확도를 유지하면서 훈련 및 추론 시간을 극적으로 단축할 수 있는 방법을 개발하기 위해.
• 오버랩-앤드-애드 기법이 표준 FFT 기반 또는 공간 컨볼루션보다 더 빠른 컨볼루션을 가능하게 하며, 특히 대용량 입력, 소형 커널을 가진 CNN 아키텍처에서 유의미한 성능 향상을 보임을 입증하기 위해.

제안 방법

• 입력 특징 맵을 커널 크기와 일치하는 n×n 크기의 겹치지 않는 블록으로 분할하여 국소적 FFT를 가능하게 한다.
• 각 블록은 FFT를 사용하여 커널과 컨볼루션된다: 블록과 커널을 주파수 도메인으로 변환하고, 요소별 곱셈(Hadamard 곱)을 수행한 후, 역변환을 통해 공간 도메인으로 복원한다.
• 결과로 생성된 컨볼루션 결과물을 겹쳐서 더하여 전체 출력을 재구성하며, 변환 비용을 줄인 채로 표준 컨볼루션을 모방한다.
• 이 기법은 표준 FFT 컨볼루션에서 커널당 복잡도를 O(N² log₂N)에서 O(N² log₂n)로 감소시켜, 블록 크기 데이터에 대해 더 작은 FFT를 활용한다.
• 이 방법은 전방 및 역방향 전파 전반에 적용되며, 오차 역전파 및 가중치 기울기 계산도 포함된다.
• 비교를 위해 공정한 기준을 확보하기 위해 CPU에서 단일 스레드로 실행되었지만, cuFFT와 같은 라이브러리를 활용한 GPU 가속화를 고려하여 설계되었다.

실험 결과

연구 질문

• RQ1 오버랩-앤드-애드 기법이 표준 FFT 기반 방법을 초월하여 CNN 컨볼루션의 계산 복잡도를 감소시킬 수 있는가?
• RQ2 제안된 OaA-FFT 방법이 일반적인 CNN 아키텍처에서 전방 및 역방향 전파 모두에서 유의미한 속도 향상을 달성하는가?
• RQ3 다양한 입력 크기 및 커널 크기에서 OaA-FFT의 성능이 전통적인 공간 컨볼루션 및 표준 FFT 컨볼루션과 비교해 어떻게 나타나는가?
• RQ4 입력 크기와 커널 크기가 OaA-FFT 방법의 상대적 성능 향상에 미치는 영향는 어떠한가?
• RQ5 특히 변환 오버헤드와 병렬 처리 잠재력 고려 시, OaA-FFT 방법이 실질적으로 확장 가능한가?

주요 결과

• OaA-FFT 방법은 표준 FFT 컨볼루션에서 커널당 복잡도를 O(N² log₂N)에서 O(N² log₂n)로 감소시켜 이론적 속도 향상 요소를 log₂N / log₂n로 달성한다.
• 실험 결과, 224×224 입력과 8×8 커널에서 전통적인 공간 컨볼루션 대비 최대 16.3배의 속도 향상을 기록했으며, 다양한 네트워크 깊이에서 일관된 성능 향상을 보였다.
• 전방 및 역방향 전파 모두에서 표준 FFT 컨볼루션보다 우수한 성능을 보였으며, 특히 커널당 두 번의 컨볼루션을 수행하는 역방향 전파에서 상대적 향상이 더욱 두드러졌다.
• 커널 수가 많아질수록 고정된 FFT 오버헤드가 더 많은 연산에 분할되어 속도 향상이 증가한다.
• 2의 거듭제곱인 커널 크기에서 성능이 최고조에 이르며, 이는 최적의 FFT 성능과 일치한다. 따라서 2의 거듭제곱으로 가장 가까운 크기로 팞딩을 수행하면 추가적인 효율 향상이 가능하다는 점을 시사한다.
• 입력 크기가 8×8를 초과하는 경우, OaA-FFT는 공간 컨볼루션 및 표준 FFT 컨볼루션 모두를 일관되게 능가하며, 특히 N ≫ n일 경우에 더욱 두드러진 성능 향상을 보였다.