[논문 리뷰] Recursive Binary Neural Network Learning Model with 2.28b/Weight Storage Requirement

Tianchan Guan, Xiaoyang Zeng외 1명|arXiv (Cornell University)|2017. 09. 15.

Advanced Memory and Neural Computing참고 문헌 21인용 수 6

한 줄 요약

이 논문은 훈련 중에 시냅스 가중치 저장소를 재사용하는 방식으로 매개변수당 2.28비트로 가중치 저장소를 줄이는 순환 이진 신경망(R-BNN) 학습 모델을 제안한다. 이 방법은 동일한 저장소 제약 조건 하에서 기존 8–16비트/가중치 모델보다 1% 낮은 분류 오차를 기록하는 동시에, 더 깊은 네트워크의 온칩 훈련을 가능하게 하여 에너지 소비를 줄이고 외부 메모리 액세스 횟수를 감소시킨다.

ABSTRACT

This paper presents a storage-efficient learning model titled Recursive Binary Neural Networks for sensing devices having a limited amount of on-chip data storage such as < 100's kilo-Bytes. The main idea of the proposed model is to recursively recycle data storage of synaptic weights (parameters) during training. This enables a device with a given storage constraint to train and instantiate a neural network classifier with a larger number of weights on a chip and with a less number of off-chip storage accesses. This enables higher classification accuracy, shorter training time, less energy dissipation, and less on-chip storage requirement. We verified the training model with deep neural network classifiers and the permutation-invariant MNIST benchmark. Our model uses only 2.28 bits/weight while for the same data storage constraint achieving ~1% lower classification error as compared to the conventional binary-weight learning model which yet has to use 8 to 16 bit storage per weight. To achieve the similar classification error, the conventional binary model requires ~4x more data storage for weights than the proposed model.

연구 동기 및 목표

• 제한된 온칩 메모리(예: <100 KB)를 가진 자원 제약이 있는 센서 장치에서 깊은 신경망을 훈련하는 데 도전 과제를 해결한다.
• 훈련 중 시냅스 가중치의 저장소 면적을 줄여 외부 메모리 액세스 횟수와 에너지 소비를 최소화한다.
• 가중치 저장소 효율성을 최적화하여 온칩에서 더 높은 분류 정확도와 더 빠른 훈련을 가능하게 한다.

제안 방법

• 백프로파게이션 중에 여러 번의 가중치 갱신을 위해 동일한 온칩 메모리 위치를 재사용하는 순환적 가중치 갱신 메커니즘을 도입한다.
• 매개변수당 저장소를 32비트 부동소수점에서 1비트로 극적으로 줄이기 위해 이진 가중치 양자화(±1)를 적용한다.
• 중간 기울기 및 가중치 값들을 동일한 메모리 공간에 덮어쓰는 방식으로 저장소 면적을 최소화하는 가중치 재사용 전략을 구현한다.
• 가중치 저장소 위치의 반복적 재사용을 지원하는 수정된 확률적 경사 하강법(SGD) 갱신 규칙을 사용한다.
• 순열 불변 MNIST 벤치마크에서 훈련된 깊은 신경망 분류기에게 이 방법을 적용한다.
• 순환 파이프라인에서 가중치 갱신의 순서와 시기를 정밀하게 관리하여 모델 수렴성과 정확도를 확보한다.

실험 결과

연구 질문

• RQ1 분류 정확도를 훼손하지 않고도 온칩 가중치 저장소를 크게 줄일 수 있는가(예: 매개변수당 <2.5비트)?
• RQ2 저메모리 장치에서 순환적 가중치 저장소 재사용 전략은 훈련 시간, 에너지 효율성, 모델 정확도에 어떤 영향을 미치는가?
• RQ3 매개변수당 2.28비트만을 사용할 경우, 이진 가중치 네트워크가 8–16비트 모델과 비슷하거나 더 높은 성능을 달성할 수 있는가?
• RQ4 순환적 가중치 갱신 방식에서 메모리 효율성과 수렴 안정성 사이의 상충 관계는 어떠한가?
• RQ5 동일한 제약 조건 하에서 기존의 이진 신경망과 비교해 본다면, 제안된 방법은 오차율과 저장소 요구사항 측면에서 어떤가?

주요 결과

• R-BNN 모델은 매개변수당 단지 2.28비트의 저장 요구량을 달성하여 기존 이진 모델의 8–16비트/가중치보다 크게 낮다.
• 극도의 압축에도 불구하고, 동일한 저장소 제약 조건 하에서 기존 이진 가중치 모델보다 테스트 오차율이 약 1% 낮게 기록된다.
• 유사한 정확도를 달성하는 기존 이진 모델 대비 외부 메모리 액세스 횟수를 최대 4배까지 줄일 수 있다.
• 메모리 병목 현상이 감소함에 따라 더 깊은 네트워크의 온칩 훈련이 가능해져 더 높은 분류 정확도를 달성할 수 있다.
• 순환적 가중치 재사용 메커니즘은 순열 불변 MNIST 벤치마크에서 모델 수렴성과 일반화 성능을 유지한다.