[논문 리뷰] Towards Ultra-High Performance and Energy Efficiency of Deep Learning Systems: An Algorithm-Hardware Co-Optimization Framework

Yanzhi Wang, Caiwen Ding외 9명|arXiv (Cornell University)|2018. 02. 18.

CCD and CMOS Imaging Sensors참고 문헌 2인용 수 14

한 줄 요약

이 논문은 일반 블록 순환 행렬을 사용하여 계산 복잡도를 O(n²)에서 O(n log n)로, 저장 복잡도를 O(n²)에서 O(n)으로 감소시켜 초고성능 및 초저에너지 소비 딥 뉴럴 네트워크(DNN)를 FPGA에서 실현하는 알고리즘-하드웨어 공동 최적화 프레임워크를 제안한다. 이 프레임워크는 원본 네트워크와 유사한 정확도를 유지하면서도, 온칩 모델 저장 및 깊은 파ip라인화와 배치 처리를 통한 효율적인 하드웨어 매핑을 가능하게 하여 IBM TrueNorth 대비 최대 152배의 성능 향상과 71배의 에너지 효율성 향상을 달성한다. 또한 기준 FPGA 구현 대비 31배의 에너지 효율성 향상을 기록한다.

ABSTRACT

Hardware accelerations of deep learning systems have been extensively investigated in industry and academia. The aim of this paper is to achieve ultra-high energy efficiency and performance for hardware implementations of deep neural networks (DNNs). An algorithm-hardware co-optimization framework is developed, which is applicable to different DNN types, sizes, and application scenarios. The algorithm part adopts the general block-circulant matrices to achieve a fine-grained tradeoff between accuracy and compression ratio. It applies to both fully-connected and convolutional layers and contains a mathematically rigorous proof of the effectiveness of the method. The proposed algorithm reduces computational complexity per layer from O($n^2$) to O($n\log n$) and storage complexity from O($n^2$) to O($n$), both for training and inference. The hardware part consists of highly efficient Field Programmable Gate Array (FPGA)-based implementations using effective reconfiguration, batch processing, deep pipelining, resource re-using, and hierarchical control. Experimental results demonstrate that the proposed framework achieves at least 152X speedup and 71X energy efficiency gain compared with IBM TrueNorth processor under the same test accuracy. It achieves at least 31X energy efficiency gain compared with the reference FPGA-based work.

연구 동기 및 목표

• 모바일 및 IoT 기기와 같은 자원 제약 환경에서 증가하는 딥 뉴럴 네트워크(DNN)의 계산 및 에너지 수요를 해결하기 위해.
• 기존 모델 압축 기법의 한계—비정규적 희박성, 증가하는 학습 복잡도, 히우리스틱 압축 인자—를 극복하기 위해 정확도-압축 비율 간의 수학적으로 엄밀한 세밀한 제어를 가능하게 하기 위해.
• 알고리즘적 최적화와 하드웨어 최적화를 통합하여 FPGA 기반 DNN 가속기에서 초고성능 및 초저에너지 소비를 실현하기 위해.
• 모델 크기를 극적으로 감소시켜 온칩 메모리에 전체 모델을 저장할 수 있도록 하여 고비용의 외부 메모리 액세스를 최소화하기 위해.
• 완전히 연결된 계층과 컨볼루션 계층을 포함한 다양한 DNN 유형, 크기, 응용 시나리오에 적용 가능한 확장성 있고 일반화 가능한 프레임워크를 개발하기 위해.

제안 방법

• 알고리즘은 일반 블록 순환 행렬을 사용하여 완전히 연결된 계층과 컨볼루션 계층을 모두 압축하여 정확도와 압축 비율 간의 세밀한 트레이드오프를 가능하게 한다.
• 빠른 푸리에 변환(FFT)과 역 푸리에 변환(IFFT)을 활용한 행렬 곱셈 재구성으로 연산을 분리하여 복잡도를 감소시키고 효율적인 하드웨어 매핑을 가능하게 한다.
• 압축된 DNN가 원래 네트워크와 동일한 효과를 渐진적으로 수렴한다는 수학적으로 엄밀한 증명을 제공한다.
• 학습 및 추론 모두에서 계산 복잡도는 O(n²)에서 O(n log n)로, 저장 복잡도는 O(n²)에서 O(n)으로 감소한다.
• 하드웨어 구현은 깊은 파이프라인화, 배치 처리, 동적 재구성, 자원 재사용, 계층적 제어를 통한 FPGA 기반 가속기로 구성되어 최대의 처리량과 에너지 효율성을 확보한다.
• 설계는 전체 DNN 모델이 온칩 블록 메모리에 맞도록 하여 외부 메모리 액세스를 완전히 제거하고 에너지 효율성을 극적으로 향상시킨다.

실험 결과

연구 질문

• RQ1 완전히 연결된 계층과 컨볼루션 계층을 포함한 다양한 DNN 계층에서 고압축과 저계산 복잡도를 동시에 달성할 수 있는 통합 알고리즘적 접근이 가능한가?
• RQ2 블록 순환 행렬의 사용이 정확도와 압축 비율 간의 세밀한 제어를 가능하게 하면서도 원래 DNN 성능으로의 수학적으로 증명 가능한 수렴을 이룰 수 있는가?
• RQ3 온칩 모델 저장을 통해 외부 메모리 액세스를 최소화함으로써 FPGA 기반 하드웨어 가속기가 초저에너지 소비를 달성할 수 있는가?
• RQ4 알고리즘 압축과 하드웨어 공동 설계가 IBM TrueNorth 및 기준 FPGA 구현과 같은 최첨단 가속기 대비 성능 및 에너지 효율성 측면에서 얼마나 뛰어나게 성과를 낼 수 있는가?
• RQ5 제안된 프레임워크는 새로운 아날로그 및 소자 수준의 DNN 가속기들과 비교해 에너지 효율성과 처리량 측면에서 어떤가?

주요 결과

• 제안된 프레임워크는 동일한 테스트 정확도 조건에서 IBM TrueNorth 대비 최소 152배의 처리량 향상과 71배의 에너지 효율성 향상을 달성한다.
• 기준 FPGA 기반 구현 대비 최소 31배의 에너지 효율성 향상을 기록하며, 주로 전체 온칩 모델 저장과 외부 메모리 액세스 감소 덕분이다.
• 프레임워크는 최대 5.14 TOPS/W의 에너지 효율성을 달성하여 아날로그 및 신소자 기반 구현(예: 380.7 GOPS/W, 142.9 GOPS/W, 1.04 TOPS/W)을 크게 능가한다.
• CyClone V FPGA에서는 이미지당 11.6ns(약 86,000 FPS), Kintex-7 FPGA에서는 이미지당 4ns의 처리 속도를 기록하여 새로운 소자 기술조차도 뛰어넘는다.
• 알고리즘은 각 계층의 계산 복잡도를 O(n²)에서 O(n log n)로, 저장 복잡도를 O(n²)에서 O(n)으로 감소시키며, MNIST, SVHN, CIFAR-10 데이터셋에서 정확도 저하가 거의 없이 구현된다.
• 실험 결과, MNIST에서는 92.9%에서 99.0%의 정확도, SVHN에서는 96.2%의 정확도, CIFAR-10에서는 80.3%에서 94.75%의 정확도를 기록했으며, 에너지 효율성은 659.5에서 2514 GOPS/W의 범위를 차지한다.