[논문 리뷰] Dynamic Precision Analog Computing for Neural Networks

Sahaj Garg, Joe Lou외 2명|arXiv (Cornell University)|2021. 02. 12.

Neural Networks and Reservoir Computing인용 수 4

한 줄 요약

이 논문은 반복 연산과 평균화를 통해 노이즈 영향을 줄이고 에너지 효율성과 정확도 사이의 프로그래머블 트레이드오프를 가능하게 함으로써 신경망을 위한 동적 정밀도 아날로그 계산을 제안한다. 재학습 없이 최적의 레이어별 정밀도를 학습함으로써 ResNet50에서는 최대 89%의 에너지 절감, BERT에서는 24%의 에너지 절감을 달성하였으며, <2% 정확도 손실로 3 aJ/MAC 미만의 광학 추론을 실현한다.

ABSTRACT

Analog electronic and optical computing exhibit tremendous advantages over digital computing for accelerating deep learning when operations are executed at low precision. In this work, we derive a relationship between analog precision, which is limited by noise, and digital bit precision. We propose extending analog computing architectures to support varying levels of precision by repeating operations and averaging the result, decreasing the impact of noise. Such architectures enable programmable tradeoffs between precision and other desirable performance metrics such as energy efficiency or throughput. To utilize dynamic precision, we propose a method for learning the precision of each layer of a pre-trained model without retraining network weights. We evaluate this method on analog architectures subject to a variety of noise sources such as shot noise, thermal noise, and weight noise and find that employing dynamic precision reduces energy consumption by up to 89% for computer vision models such as Resnet50 and by 24% for natural language processing models such as BERT. In one example, we apply dynamic precision to a shot-noise limited homodyne optical neural network and simulate inference at an optical energy consumption of 2.7 aJ/MAC for Resnet50 and 1.6 aJ/MAC for BERT with &lt;2% accuracy degradation.

연구 동기 및 목표

• 현재 고정 또는 정적 설정된 정밀도를 제공하는 아날로그 신경망 가속기에서 동적 정밀도의 활용이 부족한 문제를 해결하기 위해.
• 에너지, 처리량 또는 면적을 희생하여 신호 대 노이즈 비율을 향상시키기 위해 아날로그 하드웨어에서 프로그래머블 정밀도 스케일링을 가능하게 하기 위해.
• 하드웨어 노이즈 제약 조건을 기반으로 재학습 없이 사전 훈련된 모델의 최적 레이어별 정밀도를 결정하는 방법을 개발하기 위해.
• 다양한 신경망 아키텍처와 노이즈 원인에서 동적 정밀도의 에너지 효율성 향상 효과를 평가하기 위해.
• 동적 정밀도가 아날로그 및 광학 신경망 프로세서에서 초저전력 추론을 가능하게 하는지 입증하기 위해.

제안 방법

• 아날로그 노이즈 전력과 양자화 노이즈 전력이 동일시되는 조건에서 아날로그 노이즈 전력과 효과적 비트 정밀도 사이의 이론적 관계를 유도한다.
• 시간 또는 공간에서의 반복 연산과 결과 평균화를 통해 에너지 소비 증가를 감수하면서 효과적 정밀도를 향상시키는 冗잔 코드(중복 코드) 기법을 사용한다.
• 레이어당 총 에너지 예산을 고려하여 모델 정확도를 최대화하는 제약 조건이 있는 최적화 문제를 수립하며, 에너지/MAC는 조정 가능한 변수로 간주한다.
• 에너지 제약 조건을 페널티 함수로 변환하고 기울기 하강법을 통해 레이어별 최적의 에너지 할당량을 학습한다.
• 열 노이즈에 대한 내성을 높이기 위해 채널별 가중치 양자화와 텐서 전체 활성화 양자화를 시행하며, 백분위수 클리핑을 적용한다.
• 사운드 노이즈, 열 노이즈, 가중치 노이즈 조건 하에서 ResNet50, BERT, MobileNetV2의 추론을 시뮬레이션하여 에너지-정확도 트레이드오프를 평가한다.

실험 결과

연구 질문

• RQ1 아날로그 계산 아키텍처에서 동적 정밀도가 고정 정밀도 대비 에너지 소비를 크게 줄일 수 있는가?
• RQ2 다양한 노이즈 원인 하에서 아날로그 시스템의 효과적 비트 정밀도가 신경망의 각 레이어에서 어떻게 변화하는가?
• RQ3 에너지 소비를 최소화하면서 정확도 저하를 최소화하기 위한 최적의 레이어별 정밀도 할당 전략은 무엇인가?
• RQ4 반복적인 부동 연산 반복이 아날로그 신경망 가속기에서 정밀도 향상에 얼마나 기여하는가?
• RQ5 재학습 없이 동적 정밀도를 효과적으로 학습할 수 있으며, 고정 정밀도 아날로그 설계와 비교해 어떤가?

주요 결과

• 고정 정밀도 아날로그 추론 대비 동적 정밀도로 ResNet50에서는 최대 89%의 에너지 소비 감소, BERT에서는 24%의 에너지 소비 감소를 달성하였다.
• 사운드 노이즈 제한의 동조 광학 신경망에서는 ResNet50의 추론이 2.7 aJ/MAC, BERT의 추론이 1.6 aJ/MAC를 기록했으며, 정확도 손실은 2% 미만이었다.
• 모델 가중치 재학습 없이 기울기 기반 학습을 통해 레이어별 최적의 에너지/MAC 할당량을 확보할 수 있었다.
• 활성화의 백분위수 클리핑은 특히 저정밀도 조건에서 입력 동적 범위를 줄여 열 노이즈에 대한 정확도를 향상시켰다.
• MAC 수가 많은 레이어가 높은 에너지/MAC를 할당받더라도, 레이어당 에너지 비용이 낮아 총 에너지 소비에 지배적인 영향을 미치지 않았다.
• 다양한 아키텍처인 ResNet50, BERT, MobileNetV2에서 사운드 노이즈, 열 노이즈, 가중치 노이즈 등 다양한 노이즈 유형에 대해 강건한 성능을 보였다.