[논문 리뷰] LUTNet: Rethinking Inference in FPGA Soft Logic

Erwei Wang, James J. Davis외 2명|arXiv (Cornell University)|2019. 04. 01.

Advanced Neural Network Applications참고 문헌 21인용 수 8

한 줄 요약

LUTNet는 이진화 신경망(BNNs)의 XNOR 게이트를 구성 가능한 K-LUT로 대체하여 현장 프로그래밍 가능 게이트 어레이(FPGA) 기반 신경망 추론 프레임워크를 제안한다. 이는 LUT의 전체 부울 논리 기능을 활용하기 위함이다. 희박한 네트워크를 훈련시켜 각 K-LUT가 임의의 부울 함수를 구현하도록 함으로써, 최신 BNNs 대비 최대 2.08배 높은 면적 효율성과 최대 6.66배 높은 에너지 효율성을 달성하면서도 정확도 손실을 최소화한다.

ABSTRACT

Research has shown that deep neural networks contain significant redundancy, and that high classification accuracies can be achieved even when weights and activations are quantised down to binary values. Network binarisation on FPGAs greatly increases area efficiency by replacing resource-hungry multipliers with lightweight XNOR gates. However, an FPGA's fundamental building block, the K-LUT, is capable of implementing far more than an XNOR: it can perform any K-input Boolean operation. Inspired by this observation, we propose LUTNet, an end-to-end hardware-software framework for the construction of area-efficient FPGA-based neural network accelerators using the native LUTs as inference operators. We demonstrate that the exploitation of LUT flexibility allows for far heavier pruning than possible in prior works, resulting in significant area savings while achieving comparable accuracy. Against the state-of-the-art binarised neural network implementation, we achieve twice the area efficiency for several standard network models when inferencing popular datasets. We also demonstrate that even greater energy efficiency improvements are obtainable.

연구 동기 및 목표

• 기존 BNNs에서 FPGA LUT가 단순히 XNOR 게이트로만 사용되며, 실제로는 K-입력 부울 함수를 계산할 수 있음에도 불구하고 잠재된 능력이 제대로 활용되지 않는 문제를 해결한다.
• K-LUT의 전체 비선형성과 표현력을 활용하여 BNN의 면적 및 에너지 효율성 한계를 극복한다.
• 희박한, K-LUT 기반 네트워크가 고정밀도를 유지하면서 하드웨어 자원 사용을 극도로 줄일 수 있도록 훈련 방식을 개발한다.
• K-LUT가 DNN 내의 천연 추론 연산자로 기능할 수 있음을 입증하여, FPGA에서 더 높은 논리 밀도와 향상된 하드웨어 효율성을 달성한다.

제안 방법

• BNN 내의 각 XNOR 게이트를 K개의 이진 입력에 대해 임의의 부울 함수를 계산하는 K-LUT로 대체하여 LUT의 유연성 전부를 활용한다.
• 다수의 LUT에 걸쳐 입력을 재사용함으로써 추론 항목 수 ˜N ≪ N을 줄이는 네트워크 프루닝 전략을 도입하여 팝카운트 트리의 크기를 최소화한다.
• 네트워크 가중치를 직접 LUT 마스크에 인코딩하여 외부 가중치 저장소가 필요 없게 하고 자원 오버헤드를 감소시킨다.
• 삼항 또는 그 이상의 수준의 가중치 표현을 지원하는 수정된 역전파 방법을 사용하여 세밀한 프루닝과 함수 학습을 가능하게 한다.
• 각 K-LUT를 단일 FPGA LUT 블록에 매핑하여 다중 승수기나 복잡한 가산 트리 없이 직접 하드웨어 구현이 가능하게 한다.
• K-LUT 출력에 대해 팝카운트(popcount) 연산을 사용하여 결과를 효율적으로 합산함으로써, 균형 잡힌 가산 트리 대비 LUT 사용량을 줄인다.

실험 결과

연구 질문

• RQ1 FPGA의 K-LUT를 DNN 내의 천연 추론 연산자로 사용할 수 있는가? 이는 XNOR 기반 BNN보다 더 높은 논리 밀도를 달성할 수 있는가?
• RQ2 LUT에 구현된 임의의 K-입력 부울 함수로 XNOR를 대체할 경우, 네트워크 프루닝은 어느 정도 활용될 수 있는가?
• RQ3 FPGA 기반 DNN 추론에서 K-LUT 크기(K)와 하드웨어 효율성(면적 및 에너지) 간의 상호 교환 관계는 어떠한가?
• RQ4 제안된 훈련 방식은 어떻게 하드웨어에 효율적으로 매핑되는 희박한, 고정밀도 네트워크를 가능하게 하는가?
• RQ5 LUTNet은 정확도 손실 없이 최신 BNNs보다 현저히 높은 면적 및 에너지 효율성을 달성할 수 있는가?

주요 결과

• LUTNet은 CIFAR-10에서의 CNV 및 ImageNet에서의 AlexNet에 대해 최신 BNN(ReBNet) 대비 평균 면적 감소 1.81배를 달성했으며, 최대 2.08배의 면적 효율성 향상을 보였다.
• LUT 사용 감소와 효율적인 팝카운트 기반 합산 덕분에 이전 BNN 연구 대비 최대 6.66배의 에너지 효율성 향상을 입증했다.
• 4-LUTNet의 구현은 모든 평가된 모델과 데이터셋에서 원본 BNN과 ±0.300퍼센트 포인트 이내의 정확도를 유지했다.
• 4-LUTNet에서 7-LUTNet까지의 구현에서 훈련 시간은 거의 일정했으며(최대 16배 이상의 가중치 증가), 이는 GPU 메모리 전송이 성능 저하의 주요 원인이기 때문이다.
• K-LUT의 사용은 XNOR 기반 BNN보다 훨씬 높은 논리 밀도를 가능하게 했으며, K > 2일 경우 함수 표현 제약으로 인해 수익 감소 현상이 관찰되었다.
• 6-LUTNet에서 과적합 현상이 관찰되어, 향후 연구에서는 훈련 중 K-LUT의 표현력에 대한 동적 제어를 통합하여 성능과 일반화 능력의 균형을 맞추는 것이 바람직하다.