[논문 리뷰] Ternary Residual Networks

Abhisek Kundu, Kunal Banerjee외 5명|arXiv (Cornell University)|2017. 07. 15.

Advanced Neural Network Applications참고 문헌 23인용 수 6

한 줄 요약

이 논문은 편미분 이론에 따라 민감한 레이어에 저정밀도 잔차 연결을 추가함으로써 하위 8비트 DNN의 성능을 햖थ기기 위한 삼항 잔차 신경망을 제안한다. 이 방법은 ResNet-101을 사용할 때 모델 크기를 1.6배 작게 하고, 곱셈 연산을 26배 줄이며, 8-8 네트워크 대비 최대 2배 향상된 에너지 효율성을 확보하면서 ImageNet에서 약 1%의 정확도 손실만을 기록한다. 또한 잔차 연결 제어를 통해 런타임 시 정확도를 실시간으로 조정할 수 있는 기능을 제공한다.

ABSTRACT

Sub-8-bit representation of DNNs incur some discernible loss of accuracy despite rigorous (re)training at low-precision. Such loss of accuracy essentially makes them equivalent to a much shallower counterpart, diminishing the power of being deep networks. To address this problem of accuracy drop we introduce the notion of extit{residual networks} where we add more low-precision edges to sensitive branches of the sub-8-bit network to compensate for the lost accuracy. Further, we present a perturbation theory to identify such sensitive edges. Aided by such an elegant trade-off between accuracy and compute, the 8-2 model (8-bit activations, ternary weights), enhanced by ternary residual edges, turns out to be sophisticated enough to achieve very high accuracy ($\sim 1\%$ drop from our FP-32 baseline), despite $\sim 1.6 imes$ reduction in model size, $\sim 26 imes$ reduction in number of multiplications, and potentially $\sim 2 imes$ power-performance gain comparing to 8-8 representation, on the state-of-the-art deep network ResNet-101 pre-trained on ImageNet dataset. Moreover, depending on the varying accuracy requirements in a dynamic environment, the deployed low-precision model can be upgraded/downgraded on-the-fly by partially enabling/disabling residual connections. For example, disabling the least important residual connections in the above enhanced network, the accuracy drop is $\sim 2\%$ (from FP32), despite $\sim 1.9 imes$ reduction in model size, $\sim 32 imes$ reduction in number of multiplications, and potentially $\sim 2.3 imes$ power-performance gain comparing to 8-8 representation. Finally, all the ternary connections are sparse in nature, and the ternary residual conversion can be done in a resource-constraint setting with no low-precision (re)training.

연구 동기 및 목표

• 저정밀도 재학습에도 불구하고 하위 8비트 DNN에서 발생하는 심각한 정확도 손실 문제를 해결하기 위해.
• 완전한 재학습 없이 자원 제약 환경에서도 고정밀도, 저정밀도 추론을 가능하게 하기 위해.
• 잔차 연결의 활성화/비활성화를 통해 정확도를 실시간으로 조정할 수 있는 동적 기능을 제공하기 위해.
• 민감한 네트워크 분기 영역을 식별하기 위한 편미분 이론을 개발하기 위해.
• 8-8 정밀도 기준선 대비 뛰어난 에너지-성능 트레이드오���을 달성하기 위해.

제안 방법

• 이 방법은 하위 8비트 네트워크의 민감한 분기 영역에 저정밀도 잔차 연결(즉, 잔차 엣지)을 추가하여 정확도 손실을 보완한다.
• 정확도 향상 효과가 가장 크고 계산 비용이 최소인 레이어를 식별하기 위해 편미분 이론을 개발한다.
• 계산 비용을 고려한 내성 허용 오차 선택 기법을 사용하여 각 레이어의 편미분 임계값(εₖ)을 최적화한다.
• 고정소수점 양자화를 사용하여 블록 크기 N(예: N=64) 기반의 삼항 잔차 블록을 구성함으로써 희소성과 효율성을 확보한다.
• 배포 후에 잔차 연결을 선택적으로 활성화 또는 비활성화함으로써 동적으로 모델 업그레이드/다운그레이드를 가능하게 한다.
• 모든 변환 과정(정밀도 32비트에서 삼항 잔차 신경망으로)이 저정밀도 재학습 없이 수행되므로 자원 제약 환경에서의 배포에 적합하다.

실험 결과

연구 질문

• RQ1 민감한 네트워크 분기 영역에 저정밀도 잔차 연결을 추가함으로써 하위 8비트 DNN이 FP32 수준의 정확도를 달성할 수 있는가?
• RQ2 편미분 이론은 사전 학습된 네트워크에서 잔차 엣지 삽입 최적의 위치를 어떻게 안내할 수 있는가?
• RQ3 8-8 정밀도 기준선 대비 삼항 잔차 신경망의 에너지-성능 및 모델 효율성 향상 정도는 어떠한가?
• RQ4 런타임 시 잔차 연결의 활성화/비활성화를 통해 저정밀도 모델의 정확도를 실시간으로 조정할 수 있는가?
• RQ5 저정밀도 재학습 없이도 전체 정밀도 DNN을 삼항 잔차 신경망으로 변환하는 것이 가능한가?

주요 결과

• 8-2 모델(8비트 활성화, 삼항 가중치)에 삼항 잔차 엣지를 추가한 결과, ResNet-101 기반으로 ImageNet에서 FP32 기준 대비 약 1%의 정확도 손실만 기록한다.
• 향상된 8-2 모델은 모델 크기를 1.6배 줄이고, 곱셈 연산을 26배 감소시키며, 8-8 표현 방식 대비 최대 2배 향상된 에너지-성능 비율을 확보한다.
• 가장 중요도가 낮은 잔차 연결을 비활성화하면 모델 크기가 1.9배 작아지고 곱셈 연산은 32배 감소하며, FP32 대비 약 2%의 정확도 손실만 발생한다.
• 런타임 정확도 요구 사항에 따라 잔차 연결을 동적으로 활성화 또는 비활성화함으로써 실시간 정확도 스케일링이 가능하다.
• 저정밀도 재학습 없이도 삼항 잔차 신경망으로의 변환이 가능하므로 자원 제약 환경에서의 배포에 적합하다.
• 계산 비용을 고려한 편미분 선택 기법은 전체 계산량을 줄이면서도 약 1%의 정확도 손실을 유지하며, N=64 블록 크기에서 에너지-성능 향상 비율이 X∼5.5로 추정된다.