[논문 리뷰] FFT-Based Deep Learning Deployment in Embedded Systems

Sheng Lin, Ning Liu외 5명|arXiv (Cornell University)|2017. 12. 13.

Advanced Neural Network Applications참고 문헌 25인용 수 4

한 줄 요약

이 논문은 계산 및 저장 복잡도를 감소시키기 위해 푸리에 변환 기반 가중치 행렬을 사용하는 FFT 기반 딥 뉴럴 네트워크(DNN) 프레임워크를 제안한다. 이는 정확도 손실을 최소화하면서도 높은 추론 속도를 달성하며, ARM 기반 모바일 플랫폼에 효율적으로 구현 가능하다. C++ 구현은 자바 대비 최대 130% 빠른 추론 속도를 보이며, MNIST에서 IBM TrueNorth보다 빠른 성능을 보인다. 비록 핵수는 훨씬 적지만 말이다.

ABSTRACT

Deep learning has delivered its powerfulness in many application domains, especially in image and speech recognition. As the backbone of deep learning, deep neural networks (DNNs) consist of multiple layers of various types with hundreds to thousands of neurons. Embedded platforms are now becoming essential for deep learning deployment due to their portability, versatility, and energy efficiency. The large model size of DNNs, while providing excellent accuracy, also burdens the embedded platforms with intensive computation and storage. Researchers have investigated on reducing DNN model size with negligible accuracy loss. This work proposes a Fast Fourier Transform (FFT)-based DNN training and inference model suitable for embedded platforms with reduced asymptotic complexity of both computation and storage, making our approach distinguished from existing approaches. We develop the training and inference algorithms based on FFT as the computing kernel and deploy the FFT-based inference model on embedded platforms achieving extraordinary processing speed.

연구 동기 및 목표

• 메모리와 계산 자원이 제한된 임베디드 시스템에 대규모 정확도가 높은 DNN 모델을 구현하는 데 도전하는 것.
• 정확도 저하 없이 계산 복잡도와 모델 저장 요구량을 모두 감소시키는 것.
• 모바일 및 임베디드 플랫폼에서 효율적인 학습과 추론을 가능하게 하는 새로운 FFT 기반 DNN 프레임워크를 개발하는 것.
• 기존 ASIC 기반 솔루션(예: IBM TrueNorth)에 비해 ARM 기반 임베디드 시스템에서 더 뛰어난 추론 성능을 보여주는 것.

제안 방법

• 방법은 학습 및 추론의 핵심 계산 커널로 푸리에 변환(FFT)을 사용하며, 표준 밀도 행렬 연산을 대체한다.
• 완전 연결 및 컨볼루션 레이어의 가중치 행렬은 순환 행렬 또는 블록 순환 행렬의 구조로 구성되어 FFT의 효율성을 활용한다.
• FFT 기반 행렬 곱셈을 사용하여 계산 및 저장 복잡도의 점근적 복잡도를 O(n²)에서 O(n log n)로 감소시킨다.
• 순환 행렬의 구조를 통해 큰 가중치 행렬을 더 적은 파라미터로 표현함으로써 모델 압축을 가능하게 하며, 파라미터 수를 최대 n 배까지 줄일 수 있다.
• FFT 기반 계산에 적합한 백프로파게이션을 적용하여 엔드 투 엔드 학습을 수행하며, 정교 조정을 통해 정확도를 유지한다.
• 추론은 C++ 및 자바 구현을 사용하여 ARM 기반 모바일 플랫폼에 구현되며, 이미지 처리에는 OpenCV를 사용한다.

실험 결과

연구 질문

• RQ1 FFT 기반 가중치 행렬 표현 방식이 임베디드 시스템에서 DNN의 계산 및 저장 복잡도를 크게 감소시킬 수 있는가?
• RQ2 기존의 임베디드 및 ASIC 기반 솔루션(예: IBM TrueNorth)과 비교해 볼 때 FFT 기반 DNN 프레임워크의 추론 속도와 정확도는 어떻게 되는가?
• RQ3 순환 행렬을 통한 모델 압축은 파라미터 수를 줄이면서도 분류 정확도를 얼마나 잘 유지할 수 있는가?
• RQ4 모바일 플랫폼에서 FFT 기반 추론의 C++ 및 자바 구현 간 성능 차이는 어떤가?

주요 결과

• FFT 기반 DNN 프레임워크는 순환 행렬의 구조와 FFT 연산을 활용하여 모델 저장 요구량과 계산 복잡도를 감소시킨다.
• MNIST 데이터셋에서, 이 프레임워크는 정확도 손실이 미미한 수준임에도 불구하고 IBM TrueNorth보다 10배 빠른 추론 속도를 달성한다.
• CIFAR-10에서 C++ 구현은 1장의 이미지 추론 시간이 8,912 μs이며, 자바 구현(21,032 μs)보다 130% 빠르다.
• Honor 6X 기기에서 C++ 구현은 1장의 이미지 추론 시간이 8,244 μs로, 자바 버전(19,785 μs)보다 뚜렷이 빠르게 성능을 냈다.
• IBM TrueNorth보다 500~1,000배 적은 코어를 사용하면서도 CIFAR-10에서 80.2%의 정확도로 경쟁 가능한 성능을 달성했다.
• C++ 및 자바 구현 간 성능 격차는 안드로이드 환경에서의 메모리 관리 제약과 데이터 형식 변환 오버헤드 때문으로 기인된다.