[논문 리뷰] Gated XNOR Networks: Deep Neural Networks with Ternary Weights and Activations under a Unified Discretization Framework.

Lei Deng, Peng Jiao외 3명|arXiv (Cornell University)|2017. 05. 25.

Advanced Memory and Neural Computing인용 수 17

한 줄 요약

이 논문은 삼치수 가중치와 활성화를 갖는 딥 네ural 네트워크를 위한 통합 프레임워크를 제안하며, 다단계 이산화 및 도함수 근사 기반으로 효율적인 역전파를 가능하게 하고, 전체 정밀도의 은닉 가중치를 저장할 필요 없이 이산 상태 전이를 통해 제거한다. 이 방법은 이벤트 기반 하드웨어 설계를 지원하는 게이팅된 XNOR 네트워크를 생성하며, 유연한 희소성과 이산 상태 제어를 통해 최신 기술 수준의 성능을 달성한다.

ABSTRACT

There is a pressing need to build an architecture that could subsume these networks undera unified framework that achieves both higher performance and less overhead. To this end, two fundamental issues are yet to be addressed. The first one is how to implement the back propagation when neuronal activations are discrete. The second one is how to remove the full-precision hidden weights in the training phase to break the bottlenecks of memory/computation consumption. To address the first issue, we present a multistep neuronal activation discretization method and a derivative approximation technique that enable the implementing the back propagation algorithm on discrete DNNs. While for the second issue, we propose a discrete state transition (DST) methodology to constrain the weights in a discrete space without saving the hidden weights. In this way, we build a unified framework that subsumes the binary or ternary networks as its special cases.More particularly, we find that when both the weights and activations become ternary values, the DNNs can be reduced to gated XNOR networks (or sparse binary networks) since only the event of non-zero weight and non-zero activation enables the control gate to start the XNOR logic operations in the original binary networks. This promises the event-driven hardware design for efficient mobile intelligence. We achieve advanced performance compared with state-of-the-art algorithms. Furthermore,the computational sparsity and the number of states in the discrete space can be flexibly modified to make it suitable for various hardware platforms.

연구 동기 및 목표

• 활성화가 이산 값으로 양자화된 이산 신경망에서 역전파를 가능하게 하는 도전 과제를 해결한다.
• 학습 중에 전체 정밀도의 은닉 가중치를 저장할 필요 없이 메모리 및 계산 오버헤드를 줄인다.
• 단일 프레임워크를 통해 이진 및 삼치수 네트워크를 통합하여 다양한 하드웨어 매핑을 지원한다.
• 삼치수 네트워크에서 게이팅된 XNOR 논리 연산을 통해 이벤트 기반의 희소 계산을 가능하게 한다.
• 계산 희소성과 이산 상태 수를 조정하여 다양한 하드웨어 플랫폼에 적응 가능한 시스템을 설계한다.

제안 방법

• 연속적인 활성화를 이산 상태로 매핑하면서 기울기 흐름을 유지하는 다단계 신경 활성화 이산화 방법을 제안한다.
• 이산 활성화 함수를 통한 역전파를 가능하게 하는 도함수 근사 기법을 도입한다.
• 학습 중에 전체 정밀도의 가중치를 저장하지 않고도 네트워크 가중치를 이산 값으로 제약하는 이산 상태 전이(DST) 방법론을 개발한다.
• 비제로 가중치와 비제로 활성화만이 XNOR 논리 연산을 유도하도록 네트워크를 구성하여, 희소하고 이벤트 기반의 추론을 가능하게 한다.
• 삼치수 가중치와 활성화를 단일 프레임워크에 통합하여 이진 및 삼치수 네트워크를 일반화한다.
• 다양한 하드웨어 제약 조건에 맞게 희소성과 이산 상태 공간 크기의 민감한 조정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 어떻게 이산(삼치수) 활성화를 갖는 딥 네럴 네트워크에서 효과적으로 역전파를 구현할 수 있는가?
• RQ2 학습 중에 전체 정밀도의 은닉 가중치를 저장할 필요 없이 학습 성능을 손상시키지 않도록 하는 메커니즘은 무엇인가?
• RQ3 이진 및 삼치수 네트워크를 하나의 아키텍처로 통합할 수 있는 통합 프레임워크를 수립할 수 있는가?
• RQ4 제안된 방법은 모바일 추론을 위한 효율적이고 이벤트 기반의 하드웨어 설계를 어떻게 가능하게 하는가?
• RQ5 계산 희소성과 이산 상태 공간은 얼마나 다양하게 조정되어 하드웨어 특화 최적화에 기여할 수 있는가?

주요 결과

• 제안된 방법은 다단계 이산화 및 도함수 근사를 통해 이산 네트워크에서의 역전파를 성공적으로 구현한다.
• 이산 상태 전이(DST) 기법은 전체 정밀도의 은닉 가중치를 저장할 필요 없이 메모리 및 계산 오버헤드를 감소시킨다.
• 가중치와 활성화가 모두 삼치수일 경우 네트워크는 게이팅된 XNOR 네트워크로 축소되어 희소하고 이벤트 기반의 계산을 가능하게 한다.
• 평가된 벤치마크에서 최신 기술 수준의 알고리즘보다 뛰어난 성능을 달성한다.
• 계산 희소성과 이산 상태 수를 다양한 하드웨어 플랫폼의 제약 조건에 맞게 민감하게 조정할 수 있다.
• 통합 프레임워크는 이진 및 삼치수 네트워크를 일반화하여 다양한 네트워크 유형 간의 호환성과 확장성을 입증한다.