[논문 리뷰] LightNN: Filling the Gap between Conventional Deep Neural Networks and Binarized Networks

Ruizhou Ding, Zeye Liu외 3명|arXiv (Cornell University)|2017. 12. 02.

Anomaly Detection Techniques and Applications인용 수 7

한 줄 요약

LightNN는 전체 정밀도 곱셈을 시프트 및 덧셈 연산으로 대체하는 새로운 딥 뉴럴 네트워크 아키텍처를 제안하며, 이는 이분화 신경망(BNNs)의 에너지 효율성과 기존 DNN의 정확성 사이의 균형을 이룹니다. 이는 최소한의 에너지 비용으로 BNN보다 높은 정확도를 달성할 수 있으며, 대규모 모델에서는 정규화 효과 덕분에 기존 DNN를 초월하는 정확도를 보입니다. 이는 MNIST 및 CIFAR-10 데이터셋에서 검증되었습니다.

ABSTRACT

Application-specific integrated circuit (ASIC) implementations for Deep Neural Networks (DNNs) have been adopted in many systems because of their higher classification speed. However, although they may be characterized by better accuracy, larger DNNs require significant energy and area, thereby limiting their wide adoption. The energy consumption of DNNs is driven by both memory accesses and computation. Binarized Neural Networks (BNNs), as a trade-off between accuracy and energy consumption, can achieve great energy reduction, and have good accuracy for large DNNs due to its regularization effect. However, BNNs show poor accuracy when a smaller DNN configuration is adopted. In this paper, we propose a new DNN model, LightNN, which replaces the multiplications to one shift or a constrained number of shifts and adds. For a fixed DNN configuration, LightNNs have better accuracy at a slight energy increase than BNNs, yet are more energy efficient with only slightly less accuracy than conventional DNNs. Therefore, LightNNs provide more options for hardware designers to make trade-offs between accuracy and energy. Moreover, for large DNN configurations, LightNNs have a regularization effect, making them better in accuracy than conventional DNNs. These conclusions are verified by experiment using the MNIST and CIFAR-10 datasets for different DNN configurations.

연구 동기 및 목표

• ASIC 구현을 위한 DNN에서 에너지 효율성과 모델 정확성 간의 상충 관계를 해결합니다.
• 소규모 DNN 설정에서 BNN의 낮은 정확도 문제를 해결하면서도 낮은 에너지 소비를 유지합니다.
• 정확도를 희생시키지 않고 에너지를 줄이는 하드웨어 우수한 기존 DNN의 대안을 제공합니다.
• 표준 DNN와 비교해 대규모 DNN 설정에서 LightNN의 정규화 효과를 탐구합니다.

제안 방법

• 완전 연결층 및 컨볼루션층 내 모든 곱셈 연산을 하나 또는 몇 개의 시프트 및 덧셈 연산으로 대체합니다.
• 가중치가 2의 거듭제곱으로 제약을 받는 네트워크 아키텍처를 설계하여 효율적인 시프트 기반 계산을 가능하게 합니다.
• 백프로파게이션 동안 시프트 및 덧셈 제약 조건을 유지하면서도 네트워크 성능을 유지를 위한 학습 절차를 사용합니다.
• 가중치 제약 조건을 통한 정규화 메커니즘을 도입하여 대규모 모델에서 일반화 성능을 향상시킵니다.
• 표준 딥 러닝 프레임워크를 사용하여 시프트 기반 연산을 지원하기 위해 최소한의 수정만을 적용합니다.
• MNIST 및 CIFAR-10에서 다양한 DNN 설정을 대상으로 정확도 및 에너지 비용의 상호보완적 조건을 평가하기 위해 모델을 평가합니다.

실험 결과

연구 질문

• RQ1 시프트 기반 연산을 사용하는 DNN 모델이 BNN보다 높은 정확도를 달성하면서도 낮은 에너지 소비를 유지할 수 있는가?
• RQ2 다양한 모델 크기에서 LightNN의 정확도 및 에너지 효율성은 기존 DNN와 비교해 어떻게 성능을 내는가?
• RQ3 LightNN의 시프트 기반 가중치 제약 조건이 대규모 모델에서 일반화 성능을 향상시키는 정규화 효과를 유도하는가?
• RQ4 정확도 손실 없이 LightNN은 기존 DNN 대비 얼마나 많은 에너지 소비를 줄일 수 있는가?
• RQ5 다양한 데이터셋과 네트워크 아키텍처에서 LightNN의 성능은 어떻게 변하는가?

주요 결과

• 소규모 DNN 설정에서 LightNN는 에너지 소비가 약간 증가할 뿐이지만 BNN보다 더 높은 정확도를 달성합니다.
• 대규모 DNN 설정에서는 시프트 기반 가중치 제약 조건이 유도하는 정규화 효과 덕분에 LightNN가 기존 DNN를 정확도 면에서 능가합니다.
• LightNN는 높은 에너지 효율성을 유지하며, BNN 수준의 에너지 소비에 비해 약간의 증가만으로도 정확도를 크게 향상시킵니다.
• MNIST 및 CIFAR-10 데이터셋에서 LightNN는 다양한 네트워크 깊이와 너비에서 BNN보다 일관된 성능 향상을 보입니다.
• 시프트 및 덧셈 연산 설계 덕분에 효율적인 하드웨어 매핑이 가능하여, LightNN는 저면적 및 저전력 오버헤드로 ASIC 구현에 적합합니다.
• 모델의 성능은 다양한 DNN 아키텍처에서 뛰어난 안정성을 보이며, 기존 및 이분화 네트워크에 대한 하드웨어 최적화된 대안으로서의 일반화 능력을 확인합니다.