[논문 리뷰] NullaNet: Training Deep Neural Networks for Reduced-Memory-Access Inference

Mahdi Nazemi, Ghasem Pasandi외 1명|arXiv (Cornell University)|2018. 07. 23.

Advanced Neural Network Applications인용 수 12

한 줄 요약

NullaNet는 활성화 값을 이진값으로 제약하여 딥 네ural 네트워크 레이어를 부울 논리 함수로 변환하는 새로운 훈련 방법을 제안한다. 이 방법은 논리 최적화를 통해 메모리 없는 추론을 가능하게 하며, 메모리 액세스를 최대 2,095배 감소시키고, 계산 비용을 77% 감소시키며, 부동소수점 연산과 DRAM 액세스를 제거함으로써 전력 소비를 낮춘다. 이로 인해 정확도 손실이 최소한이면서도 FPGA에서 높은 효율을 달성한다.

ABSTRACT

Deep neural networks have been successfully deployed in a wide variety of applications including computer vision and speech recognition. However, computational and storage complexity of these models has forced the majority of computations to be performed on high-end computing platforms or on the cloud. To cope with computational and storage complexity of these models, this paper presents a training method that enables a radically different approach for realization of deep neural networks through Boolean logic minimization. The aforementioned realization completely removes the energy-hungry step of accessing memory for obtaining model parameters, consumes about two orders of magnitude fewer computing resources compared to realizations that use floatingpoint operations, and has a substantially lower latency.

연구 동기 및 목표

• 모바일 디바이스와 같은 에너지 제약이 있는 플랫폼에서 딥 네URAL 네트워크(DNN)의 높은 에너지 및 지연 비용을 해결하기 위해.
• 모델 파라미터를 위한 메모리 액세스가 필요 없도록 하기 위해 DNN 레이어를 부울 함수로 재정의하고 이진 활성화 값을 사용하기 위해.
• 정확도 저하 없이 계산 및 메모리 자원 사용을 크게 줄이기 위해.
• 부동소수점 산술 대신 부울 논리 최적화를 사용하여 DNN의 효율적인 하드웨어 구현을 가능하게 하기 위해.
• 완전 정밀도 가중치를 유지하면서도 초저전력 및 초저메모리 액세스를 달성할 수 있음을 입증하기 위해.

제안 방법

• DNN 레이어를 이진 입력 및 출력 활성화 값을 갖도록 훈련하여 각 레이어를 다중입력, 다중출력 부울 함수로 변환한다.
• 오프라인 시뮬레이션을 사용하여 이진 입력 하에서 각 뉴런의 활성화 행동에 대한 진리표를 추출한다.
• 부울 논리 최소화 알고리즘을 적용하여 각 뉴런의 논리 함수를 최적화하고 하드웨어 복잡도를 감소시킨다.
• 기술 매핑과 FPGA 합성 기법을 사용하여 최적화된 부울 함수를 구현하고 부동소수점 연산을 피한다.
• 파이ipel라인 및 병렬 처리를 적용하여 FPGA에서 저지연, 고스루풋 추론을 달성한다.
• 완전 정밀도 부동소수점 가중치 및 편향을 유지하여 양자화로 인한 정확도 손실을 방지한다.

실험 결과

연구 질문

• RQ1 딥 네URAL 네트워크 추론이 모델 파라미터를 위한 메모리 액세스 없이 수행될 수 있는가?
• RQ2 부울 논리 최적화가 DNN에서 하드웨어 자원 사용과 지연 시간을 얼마나 줄일 수 있는가?
• RQ3 완전 정밀도 가중치를 유지할 경우, 양자화 또는 바이너리화된 네트워크와 비교해 정확도에 어떤 영향을 미치는가?
• RQ4 MAC 연산을 부울 논리로 대체할 경우 에너지 효율성 향상과 계산 자원 절감의 성과는 어떠한가?
• RQ5 제안된 방법이 가중치에 대한 메모리 액세스를 완전히 제거하면서도 높은 정확도를 달성할 수 있는가?

주요 결과

• NullaNet은 CNN에서 32비트 부동소수점 구현 대비 최대 2,095배 메모리 액세스를 감소시켰으며, 입력 패치당 110비트 액세스 대비 28.13KB로 감소하였다.
• 전체 네트워크 기준으로 메모리 액세스는 77%, MAC 연산은 76% 감소시켰으며, 전체 정밀도 기준 기준 대비 성능을 확보하였다.
• 하드웨어 구현은 단지 15,990개의 ALMs와 41.77mW의 전력 소비를 차지했으며, 지연 시간은 14.26ns로 단정밀도 및 반정밀도 MAC의 0.41× 및 0.67× 수준이었다.
• 최적화된 ISF(의미 특화 함수)를 사용할 경우 표준 내적 계산 대비 정확도 손실이 0.29%에 그쳤고, 활성화를 이진값으로 양자화할 경우 0.79%의 정확도 손실이 발생하였다.
• 이 방법은 가중치에 대한 메모리 액세스를 완전히 제거하여 DRAM 액세스의 에너지 비용(비트당 최대 13,000배의 정규화된 에너지)을 제거할 수 있었다.
• 부동소수점 기반 DNN 실현 대비 계산 자원 사용을 두 개의 지수 정도 감소시켰으며, 정확도 저하가 최소한이었다.