[논문 리뷰] GXNOR-Net: Training deep neural networks with ternary weights and activations without full-precision memory under a unified discretization framework

Lei Deng, Peng Jiao외 3명|arXiv (Cornell University)|2017. 05. 25.

Advanced Memory and Neural Computing참고 문헌 27인용 수 6

한 줄 요약

GXNOR-Net는 훈련 중에 정밀도가 높은 가중치를 저장하지 않고도 삼치수 가중치와 활성화를 갖춘 깊은 신경망을 훈련하기 위한 통합 이산화 프레임워크를 제안한다. 유연한 이산화를 가능하게 하는 다단계 활성화 이산화와 도함수 근사 기법, 그리고 정밀도가 높은 가중치 저장을 피하는 이산 상태 전이(DST) 방법을 도입함으로써, 이 프레임워크는 이산 네트워크에서 엔드 투 엔드 역전파를 가능하게 하여 MNIST, CIFAR-10, SVHN에서 최신 기술 수준의 성능을 달성한다. 이는 하드웨어 우수한 희소성과 이벤트 기반 계산 잠재력을 지닌다.

ABSTRACT

There is a pressing need to build an architecture that could subsume these networks under a unified framework that achieves both higher performance and less overhead. To this end, two fundamental issues are yet to be addressed. The first one is how to implement the back propagation when neuronal activations are discrete. The second one is how to remove the full-precision hidden weights in the training phase to break the bottlenecks of memory/computation consumption. To address the first issue, we present a multi-step neuronal activation discretization method and a derivative approximation technique that enable the implementing the back propagation algorithm on discrete DNNs. While for the second issue, we propose a discrete state transition (DST) methodology to constrain the weights in a discrete space without saving the hidden weights. Through this way, we build a unified framework that subsumes the binary or ternary networks as its special cases, and under which a heuristic algorithm is provided at the website https://github.com/AcrossV/Gated-XNOR. More particularly, we find that when both the weights and activations become ternary values, the DNNs can be reduced to sparse binary networks, termed as gated XNOR networks (GXNOR-Nets) since only the event of non-zero weight and non-zero activation enables the control gate to start the XNOR logic operations in the original binary networks. This promises the event-driven hardware design for efficient mobile intelligence. We achieve advanced performance compared with state-of-the-art algorithms. Furthermore, the computational sparsity and the number of states in the discrete space can be flexibly modified to make it suitable for various hardware platforms.

연구 동기 및 목표

• 이중 및 삼치수 신경망을 하나의 프레임워크로 통합하여 가중치와 활성화의 탄력적인 이산화를 지원한다.
• 가중치와 활성화가 이산 값으로 제약을 받는 깊은 네트워크에서 역전파를 가능하게 하여 이산 함수의 비미분 가능성 문제를 극복한다.
• 훈련 중에 정밀도가 높은 은닉 가중치를 저장할 필요를 제거하여 메모리 및 계산 병목 현상을 줄인다.
• 비제로 가중치-활성화 쌍을 계산 단위의 제어 신호로 간주함으로써 이벤트 기반의 희소 계산을 가능하게 한다.
• 이산 상태 수와 희소성 조절을 통해 다양한 하드웨어 플랫폼에 적합한 재구성 가능한 프레임워크를 제공한다.

제안 방법

• 연속적인 활성화를 이산 값 집합으로 매핑하는 다단계 신경 활성화 이산화 함수를 도입하여 이산 최적화를 가능하게 한다.
• 역전파 과정에서 이산 활성화 함수의 비미분 성질을 다루기 위해 도함수 근사 기법을 제안한다.
• 정밀도가 높은 가중치 저장 없이도 시냅스 가중치를 이산 값으로 제약하는 확률적 투영 연산자를 사용하는 이산 상태 전이(DST) 방법을 도입한다.
• DST 방법은 가중치 갱신을 직접 이산 공간에서 수행함으로써 정밀도가 높은 중간 표현이 필요 없도록 보장한다.
• 가중치와 활성화에 대한 재구성 가능한 상태 수를 지원하여 정확도와 하드웨어 효율성 간의 탄력적 트레이드오프를 가능하게 한다.
• 결과적으로 생성된 네트워크인 GXNOR-Net는 비제로 가중치-활성화 쌍이 존재할 때만 계산이 발생하는 희소 이진 네트워크로 작동하여 이벤트 기반 하드웨어 설계를 가능하게 한다.

실험 결과

연구 질문

• RQ1 가중치와 활성화가 모두 이산 값으로 제약을 받는 깊은 신경망에서 역전파가 효과적으로 구현될 수 있는가?
• RQ2 정밀도가 높은 중간 가중치를 저장하지 않고도 이산 가중치를 갖는 깊은 네트워크를 훈련할 수 있는가?
• RQ3 가중치와 활성화의 이산 상태 수가 네트워크 성능와 하드웨어 효율성에 미치는 영향는 어떠한가?
• RQ4 이산적인 성격을 활용하여 에너지 효율적인 추론을 위한 이벤트 기반 희소 계산을 가능하게 할 수 있는가?
• RQ5 최고의 정확도를 달성하면서 최소한의 하드웨어 오버헤드를 갖는 최적의 이산 상태 수 설정은 무엇인가?

주요 결과

• GXNOR-Net는 MNIST, CIFAR-10, SVHN에서 삼치수 가중치와 활성화를 사용하여 기존의 이진 및 삼치수 네트워크를 능가하는 최신 기술 수준의 성능을 달성한다.
• 최적의 구성은 가중치에 6개의 이산 상태, 활성화에 4개의 이산 상태에서 발생하며, 이는 희소성와 표현 능력 간의 트레이드오프를 시사한다.
• 직사각형 펄스 형상의 도함수 근사 기법은 삼각형 펄스와 유사한 정확도를 제공하지만 더 낮은 하드웨어 복잡도를 가진다.
• 이 프레임워크는 계산 단위가 비제로 가중치-활성화 쌍이 존재할 때만 활성화되는 희소 이진 네트워크 동작을 가능하게 하여 이벤트 기반 하드웨어 설계를 지원한다.
• DST의 확률적 투영 연산자가 정밀도가 높은 저장 없이도 가중치 이산화를 성공적으로 유지하여 훈련 중 메모리 오버헤드를 감소시킨다.
• 이 방법은 이산 상태 수의 탄력적 재구성 가능성을 지원하여 다양한 메모리 및 계산 제약 조건을 가진 다양한 하드웨어 플랫폼에 적응 가능하게 한다.