[논문 리뷰] Acceleration of Convolutional Neural Network Using FFT-Based Split Convolutions

Kamran Chitsaz, Mohsen Hajabdollahi외 3명|arXiv (Cornell University)|2020. 03. 27.

Advanced Neural Network Applications참고 문헌 21인용 수 25

한 줄 요약

이 논문은 푸리에 도메인에서의 계산 복잡도를 감소시켜 신경망의 컨volutional 신경망(CNN)을 가속화하기 위해 FFT 기반의 분할 컨볼루션 방법을 제안한다. 입력 특징을 분할하고 오버랩-애드 기법을 활용하여 부정확한 부분을 최소화하고 효율성을 향상시킨다. 기존의 FFT 기반 CNN과 비교해 하드웨어 구현 및 복잡도 분석 모두에서 뛰어난 성능을 보여준다.

ABSTRACT

Convolutional neural networks (CNNs) have a large number of variables and hence suffer from a complexity problem for their implementation. Different methods and techniques have developed to alleviate the problem of CNN's complexity, such as quantization, pruning, etc. Among the different simplification methods, computation in the Fourier domain is regarded as a new paradigm for the acceleration of CNNs. Recent studies on Fast Fourier Transform (FFT) based CNN aiming at simplifying the computations required for FFT. However, there is a lot of space for working on the reduction of the computational complexity of FFT. In this paper, a new method for CNN processing in the FFT domain is proposed, which is based on input splitting. There are problems in the computation of FFT using small kernels in situations such as CNN. Splitting can be considered as an effective solution for such issues aroused by small kernels. Using splitting redundancy, such as overlap-and-add, is reduced and, efficiency is increased. Hardware implementation of the proposed FFT method, as well as different analyses of the complexity, are performed to demonstrate the proper performance of the proposed method.

연구 동기 및 목표

• CNN의 높은 계산 복잡도, 특히 FFT 기반 구현에서의 문제를 해결하기 위해.
• 작은 커널에 대해 특히 효과적으로, FFT 기반 컨볼루션 연산에서의 부정확성과 효율성을 감소시키기 위해.
• 입력 분할을 활용한 새로운 FFT 도메인 CNN 처리 방법을 제안하여 계산 성능을 향상시키기 위해.
• 하드웨어 구현과 종합적인 복잡도 분 析를 통해 제안된 방법을 평가하기 위해.

제안 방법

• 큰 특징 맵을 더 작고 다룰 수 있는 세그먼트로 나누는 입력 분할 기법을 푸리에 도메인에 도입한다.
• 중복 제거 및 정확한 출력 복원을 위해 오버랩-애드 기법을 적용한다.
• 공간 컨볼루션을 주파수 도메인의 요소별 곱셈으로 변환하기 위해 빠른 푸리에 변환(FFT)을 활용한다.
• 표준 FFT 기반 CNN과의 비교에서 효율성 향상을 입증하기 위해 계산 복잡도를 분석한다.
• 실제 성능과 확장성을 검증하기 위해 하드웨어 구현을 수행한다.
• 기존의 FFT 기반 접근 방식보다 작은 커널 컨볼루션을 더 효율적으로 처리할 수 있도록 설계된다.

실험 결과

연구 질문

• RQ1 FFT 기반 CNN은 어떻게 작은 커널 컨볼루션에 대해 더 효율적으로 만들 수 있는가?
• RQ2 입력 분할은 FFT 도메인에서의 부정확성 감소와 계산 효율성 향상에 어떤 역할을 하는가?
• RQ3 오버랩-애드 기법은 FFT 기반 컨볼루션에서 계산 오버헤드를 효과적으로 줄일 수 있는가?
• RQ4 기존의 FFT 기반 CNN 가속 기법과 비교해 제안된 방법은 복잡도와 성능 면에서 어떻게 다른가?
• RQ5 제안된 FFT 기반 분할 컨볼루션 방법의 하드웨어 구현은 실용적으로 어떤 의미를 갖는가?

주요 결과

• 제안된 FFT 기반 분할 컨볼루션 방법은 입력 분할과 오버랩-애드 기법을 통해 작은 커널 컨볼루션에서 계산의 중복을 크게 감소시킨다.
• 복잡도 분 析 결과, 표준 FFT 기반 CNN보다 낮은 계산 복잡도를 달성함을 확인하였다.
• 하드웨어 구현 결과는 개선된 효율성과 성능을 보여주며, 방법의 실용적 타당성을 검증하였다.
• 기존의 방법이 효율성이 떨어지는 작은 커널에 적용될 때 FFT 기반 CNN의 한계를 효과적으로 해결하였다.
• 고정밀도를 유지하면서 추론 속도를 향상시켜 실시간 및 자원 제약이 있는 환경에 적합하다.