[논문 리뷰] TinBiNN: Tiny Binarized Neural Network Overlay in about 5,000 4-LUTs and 5mW

Guy Lemieux, Joe Edwards외 7명|arXiv (Cornell University)|2019. 03. 05.

Advanced Neural Network Applications인용 수 5

한 줄 요약

TinBiNN는 1비트 가중치와 8비트 활성화를 사용하여 이진화 신경망의 추론을 가속화하기 위한, 5,000 LUT, 5mW의 소형 FPGA 하드웨어 오버레이를 제안한다. 1,315ms 내에 CIFAR-10에서 10개 클래스 분류기로 13.6% 오차를 달성하고, 195ms 내에 1개 클래스 얼굴 검출기로 0.4% 오차를 기록하며, 고정점 연산과 전용 RISC-V 벡터 프로세서를 통해 초저전력 및 고면적 효율성을 입증한다.

ABSTRACT

Reduced-precision arithmetic improves the size, cost, power and performance of neural networks in digital logic. In convolutional neural networks, the use of 1b weights can achieve state-of-the-art error rates while eliminating multiplication, reducing storage and improving power efficiency. The BinaryConnect binary-weighted system, for example, achieves 9.9% error using floating-point activations on the CIFAR-10 dataset. In this paper, we introduce TinBiNN, a lightweight vector processor overlay for accelerating inference computations with 1b weights and 8b activations. The overlay is very small -- it uses about 5,000 4-input LUTs and fits into a low cost iCE40 UltraPlus FPGA from Lattice Semiconductor. To show this can be useful, we build two embedded 'person detector' systems by shrinking the original BinaryConnect network. The first is a 10-category classifier with a 89% smaller network that runs in 1,315ms and achieves 13.6% error. The other is a 1-category classifier that is even smaller, runs in 195ms, and has only 0.4% error. In both classifiers, the error can be attributed entirely to training and not reduced precision.

연구 동기 및 목표

• 자원 제약이 있는 FPGA에서 이진화 신경망 추론을 위한 최소 크기이자 저전력 하드웨어 가속기를 설계하는 것.
• 1비트 가중치와 고정점 8비트 활성화를 사용하여 네트워크 크기와 정밀도를 감소시키면서도 높은 정확도를 유지하는 것.
• 경량 벡터 확장(LVE)과 전용 CNN 가속 기능을 갖춘 맞춤형 RISC-V 프로세서를 통해 고성능 및 고에너지 효율성을 달성하는 것.
• 최소한의 하드웨어와 전력으로 실질적인 임베디드 비전 응용, 예를 들어 사람 검출을 수행하는 것.
• 고정점 산술을 사용함으로써 정확도 저하가 정밀도 감소 때문이 아니라 훈련의 한계 때문임을 입증하는 것.

제안 방법

• 89% 적은 연산을 사용하는 수정된 BinaryConnect 네트워크를 사용하며, 원래의 2×128C3에서 2×48C3로 감소시키고, 활성화는 8비트 부호 없는 정수, 중간 합은 16/32비트 부호 있는 정수를 사용한다.
• 하나의 사이클에 32비트 연산을 가져와, 두 개의 겹치는 3×3 컨볼루션을 동시에 계산하는 맞춤형 하드웨어 가속기로, 입력 열마다 두 번의 통과를 통해 네 개의 출력을 생성한다.
• 파ipel라인 처리된 RISC-V ORCA 프로세서와 경량 벡터 확장(LVE)을 통합한 TinBiNN 오버레이를 통해, 루프나 주소 생성 오버헤드 없이 효율적인 벡터 및 행렬 연산을 수행할 수 있다.
• LVE 파이프라인에 맞춤형 ALU 명령어를 추가: 16비트에서 32비트 SIMD 덧셈과 32비트에서 8비트 활성화 함수로, 오버플로우 안전한 누적과 8비트 출력 생성을 가능하게 한다.
• DMA 엔진이 SPI 플래시 ROM에서 가중치와 VGA 카메라에서 이미지 데이터를 128kB 스크래치패드로 스트리밍하며, 40×30 픽셀 입력 처리를 위해 하드웨어 스케일링과 디인터리빙을 수행한다.
• 컨볼루션에 32×32 중심 영역을 사용하고, 데이터를 32비트 정렬된 블록으로 처리하여 통과 간에 정렬을 유지한다.

실험 결과

연구 질문

• RQ1 1비트 가중치와 8비트 활성화를 사용하는 이진화 신경망이 FPGA에서 5,000 LUT 및 5mW 전력 예산 내에서 높은 정확도를 달성할 수 있는가?
• RQ2 고정점 산술과 이진화 가중치를 사용할 때 네트워크 크기를 얼마나 줄일 수 있으며, 정확도 손실가 최소화되는가?
• RQ3 전용 RISC-V 벡터 프로세서와 특수 지시어를 갖춘 하드웨어 가속기는 소프트웨어 실행 대비 이진화 CNN 추론을 얼마나 효과적으로 가속화하는가?
• RQ4 초저전력 임베디드 시스템이 최소한의 하드웨어와 고정점 연산을 사용하여 실시간 사람 검출을 달성할 수 있는가?
• RQ5 이진화 네트워크에서 관찰된 오차는 정밀도 감소 때문이 아니라 훈련의 한계 때문인가?

주요 결과

• 10개 클래스 분류기는 원래 BinaryConnect 네트워크 대비 89% 적은 연산을 사용하여 CIFAR-10에서 13.6% 오차를 기록하며, 1비트 가중치 표현 방식으로 정확도 손실가 없다.
• 1개 클래스 얼굴 검출기는 iCE40 UltraPlus FPGA에서 195ms 내에 0.4% 오차를 기록하며, 전력 소모는 오직 21.8 mW이며, 1fps일 경우 4.6 mW이다.
• 하드웨어 가속기는 ORCA RISC-V 코어에서의 소프트웨어 실행 대비 컨볼루션 계층의 런타임을 73배 향상시켰다.
• LVE 확장은 밀도 높은 계층 성능을 8배 향상시켜 순수 소프트웨어 실행 대비 총 71배의 성능 향상을 이뤘다.
• 시스템은 5,280개의 4-LUT 중 4,895개, 8개의 DSP 블록 중 4개만 사용하여 iCE40 UltraPlus-5K FPGA(5,000 LUT, 5mW 전력)에 완전히 맞춰진다.
• 10개 클래스 분류기의 오차는 정밀도 감소가 아니라 훈련의 한계 때문이며, 고정점 연산이 부동점과 동일한 13.6% 오차율을 유지한다.