[논문 리뷰] Fast Training of Convolutional Networks through FFTs

Michaël Mathieu, Mikael Henaff외 1명|arXiv (Cornell University)|2013. 12. 20.

Advanced Neural Network Applications참고 문헌 7인용 수 302

한 줄 요약

이 논문은 공간 도메인에서의 컨볼루션을 푸리에 도메인에서의 점별 곱셈으로 계산하고, 여러 연산 간에 변환된 특징 맵을 재사용함으로써 컨volutional 신경망의 학습과 추론을 가속화하는 FFT 기반 알고리즘을 제안한다. 이 방법은 최신 구현 대비 최대 10배 이상의 속도 향상을 달성하며, 특히 기울기 계산과 큰 커널에서 뚜렷한 성능 향상을 보인다.

ABSTRACT

Convolutional networks are one of the most widely employed architectures in computer vision and machine learning. In order to leverage their ability to learn complex functions, large amounts of data are required for training. Training a large convolutional network to produce state-of-the-art results can take weeks, even when using modern GPUs. Producing labels using a trained network can also be costly when dealing with web-scale datasets. In this work, we present a simple algorithm which accelerates training and inference by a significant factor, and can yield improvements of over an order of magnitude compared to existing state-of-the-art implementations. This is done by computing convolutions as pointwise products in the Fourier domain while reusing the same transformed feature map many times. The algorithm is implemented on a GPU architecture and addresses a number of related challenges.

연구 동기 및 목표

• 현대 GPU를 사용해도 수주가 걸릴 수 있는 대규모 컨volutional 네트워크 학습의 높은 계산 비용을 해결하기 위해.
• 웹 스케일 이미지 레이블링과 같은 대규모 데이터셋에서 레이블 예측이 계산적으로 비용이 많이 드는 상황에서 추론 시간을 단축하기 위해.
• 역전파의 주요 모든 연산—전방 전파, 기울기 계산, 가중치 갱신—을 가속화하는 일반 목적의 알고리즘을 개발하기 위해.
• 특히 특징 맵 수가 많을 경우에 FFT를 활용한 컨벌루션의 실현 가능성을 탐색하기 위해.
• FFT 기반 방법을 통해 커널 크기와 무관하게 계산이 독립적이게 함으로써 큰 커널 컨벌루션의 성능 저하 문제를 해결하기 위해.

제안 방법

• 이 방법은 컨벌루션 정리에 기반한다. 컨벌루션 정리는 공간 도메인에서의 컨벌루션과 푸리에 도메인에서의 점별 곱셈이 동치임을 나타낸다: $ f * g = \mathcal{F}^{-1}(\mathcal{F}(f) \cdot \mathcal{F}(g)) $.
• 입력 특징 맵과 커널의 푸리에 변환을 한 번만 계산하고, 이후 모든 전방 전파, 역전파, 가중치 갱신 연산에서 이를 재사용한다.
• 모든 컨벌루션 연산—전방 전파, 입력에 대한 기울기, 가중치에 대한 기울기—는 주파수 도메인에서의 점별 곱셈으로 재정의되어 반복적인 공간 컨벌루션을 피한다.
• 알고리즘은 GPU 아키텍처에 구현되었으며, 효율적인 FFT 계산을 위해 입력 및 커널 크기를 다음으로 큰 2의 거듭제곱 수로 패딩한다.
• 원형 컨벌루션 아티팩트를 처리하기 위해 출력을 표준 컨벌루션의 크기로 잘라내어 정확성을 확보하면서 추가 비용 없이도 정확한 결과를 얻는다.
• 커널 크기에 관계없이 방법이 적용되며, 커널을 입력 크기에 맞게 패딩하여 FFT를 수행함으로써 성능이 커널 치수와 무관해진다.

실험 결과

연구 질문

• RQ1 FFT 기반 컨벌루션은 딥 컨볼루션 네트워크에서 학습과 추론을 상당히 가속화할 수 있는가?
• RQ2 사전 계산된 특징 맵과 커널의 푸리에 변환을 재사용함으로써 역전파의 모든 연산에서 계산 비용을 줄일 수 있는가?
• RQ3 다양한 입력 크기, 커널 크기, 배치 크기에서 최신 GPU 최적화 구현과 비교해 성능가 어떻게 다른가?
• RQ4 직접적인 컨벌루션 계산이 가장 비용이 많이 드는 큰 커널에 대해서도 이 방법이 상당한 속도 향상을 달성할 수 있는가?
• RQ5 FFT 방법의 성능은 커널 크기에 따라 변하지 않으며, 이는 더 큰 커널을 사용하는 새로운 아키텍처 선택을 가능하게 하는가?

주요 결과

• 최신 구현 대비 가장 계산 비용이 높은 연산인 accGradParameters에서 10배 이상의 속도 향상을 달성했다.
• 일반적인 네트워크 설정(7×7 커널, 32×32 입력, 96개의 입력 및 256개의 출력 특징 맵)에서 FFT 방법은 총 학습 반복 시간을 CudaConv의 2495 ms에서 867 ms로 단축시켰다.
• 모든 테스트 설정에서 커스터마이즈된 Torch7 및 CudaConv 모두를 능가하는 성능을 보였으며, 전방 전파와 기울기 계산에서 가장 큰 성능 향상을 보였다.
• 큰 커널에서 특히 뚜렷한 성능 향상이 있었으며, 고정된 크기의 FFT를 사용하기 때문에 커널 크기와 관계없이 성능이 일정하게 유지되었다.
• 입력 크기와 배치 크기의 변화에 대해 매우 강건했으며, 모든 테스트 설정에서 일관된 성능 향상이 관찰되었다.
• 알고리즘의 성능은 커널 크기에 영향을 받지 않아, 향후 더 큰 커널을 사용하는 아키텍처 탐색에 계산 비용 없이 기여할 수 있다.