[논문 리뷰] Resiliency of Deep Neural Networks under Quantization

Wonyong Sung, Sungho Shin외 1명|arXiv (Cornell University)|2015. 11. 20.

Advanced Neural Network Applications참고 문헌 15인용 수 146

한 줄 요약

이 논문은 재학습을 활용한 극단적 가중치 양자화에 대한 딥 네ural 네트워크(DNNs)의 내성에 대해 조사하며, 고도로 복잡한 DNNs가 삼항 가중치(+1, 0, -1) 또는 2비트 양자화에서도 높은 정확도를 유지할 수 있음을 보여준다. 반면 단순한 네트워크는 성능 저하가 심각하게 발생한다. 주요 기여는 자원 제약 조건 하에서 하드웨어 효율적인 DNN 설계를 안내하기 위해 효과적 압축 비율(ECR)을 도입한 것이다.

ABSTRACT

The complexity of deep neural network algorithms for hardware implementation can be much lowered by optimizing the word-length of weights and signals. Direct quantization of floating-point weights, however, does not show good performance when the number of bits assigned is small. Retraining of quantized networks has been developed to relieve this problem. In this work, the effects of retraining are analyzed for a feedforward deep neural network (FFDNN) and a convolutional neural network (CNN). The network complexity is controlled to know their effects on the resiliency of quantized networks by retraining. The complexity of the FFDNN is controlled by varying the unit size in each hidden layer and the number of layers, while that of the CNN is done by modifying the feature map configuration. We find that the performance gap between the floating-point and the retrain-based ternary (+1, 0, -1) weight neural networks exists with a fair amount in 'complexity limited' networks, but the discrepancy almost vanishes in fully complex networks whose capability is limited by the training data, rather than by the number of connections. This research shows that highly complex DNNs have the capability of absorbing the effects of severe weight quantization through retraining, but connection limited networks are less resilient. This paper also presents the effective compression ratio to guide the trade-off between the network size and the precision when the hardware resource is limited.

연구 동기 및 목표

• 낮은 정밀도 가중치 표현 하에서 부동소수점과 양자화된 DNN 간의 성능 격차에 네트워크 복잡성이 미치는 영향을 이해하는 것.
• 극단적 양자화(예: 삼항 또는 2비트 가중치) 이후 성능 복구에 재학습의 효과를 평가하는 것.
• 높은 수준의 양자화된 대규모 네트워크와 중간 수준의 양자화된 소규모 네트워크 간의 공정한 비교를 가능하게 하는 지표인 효과적 압축 비율(ECR)을 개발하는 것.
• 계산 및 메모리 자원이 제한된 상황에서 하드웨어 효율적인 DNN 설계 지침을 제공하는 것.
• 대규모 DNN의 부여된 레이어가 양자화 노이즈를 보다 잘 견딜 수 있는지 여부를 조사하는 것.

제안 방법

• TIMIT 및 CIFAR-10 데이터셋을 사용한 피드포워드 DNN(FFDNN)의 음소 인식과 컨볼루션 네트워크(CNN)의 이미지 분류에 대한 통제 실험.
• 숨은 유닛 수, 레이어 수, 특징 맵 구성 조정을 통해 모델 용량의 다양한 수준을 시뮬레이션하기 위해 네트워크 복잡성을 조절.
• 재학습 기반 양자화 적용: 먼저 훈련된 부동소수점 가중치를 삼항(+1, 0, -1) 또는 3비트 수준으로 양자화한 후, 백프로파게이션을 통한 미세조정 수행.
• 효과적 압축 비율(ECR) 정의 및 계산: 효과적 압축되지 않은 크기(32비트 부동소수점 등가) 대비 압축된 크기(양자화된 가중치)의 비율.
• ECR를 사용하여 네트워크 크기와 정밀도 간의 트레이드오프 분석, 메모리 효율성을 위한 최적 구성 식별.
• 다양한 양자화 비트 폭(2비트, 3비트, 5비트, 6비트)과 네트워크 크기에서의 성능 분석을 통해 양자화에 대한 내성 평가.

실험 결과

연구 질문

• RQ1 네트워크 복잡성이 부동소수점과 양자화된 DNN 간의 성능 격차에 어떤 영향을 미치는가?
• RQ2 재학습을 통해 극단적 가중치 양자화(예: 삼항 또는 2비트 가중치) 이후 정확도를 얼마나 회복할 수 있는가?
• RQ3 메모리 사용을 최소화하면서 높은 정확도를 달성하기 위해 네트워크 크기와 가중치 정밀도 사이의 최적 트레이드오프는 무엇인가?
• RQ4 매우 높은 수준의 양자화를 거친 대규모 네트워크가 동일 정확도 수준에서 더 작은, 더 높은 정밀도의 네트워크보다 메모리 효율성이 뛰어나게 될 수 있는가?
• RQ5 대규모 DNN의 부여된 레이어가 소형 네트워크보다 양자화 노이즈에 더 뛰어난 내성을 보이는가?

주요 결과

• 훈련 데이터로 인해 정확도가 제한되는 대규모 복잡한 네트워크에서는 부동소수점과 재학습된 삼항 가중치 DNN 간의 성능 격차가 거의 사라진다.
• 숨은 유닛 수, 특징 맵 수 또는 레이어 수가 감소한 소형 네트워크는 양자화 시 심각한 성능 저하를 보이며, 정밀도 손실에 대한 내성이 낮음을 시사한다.
• 재학습 후 2비트 양자화가 가장 높은 효과적 압축 비율(ECR)을 달성하여, 동일 정확도 기준으로 더 높은 정밀도 설정보다 우수한 효율성을 보인다.
• 직접 양자화(재학습 없음)의 경우 5비트 정밀도에서 ECR가 가장 우수하지만, 재학습을 통해 2비트 양자화가 모든 다른 설정보다 효율성 면에서 승승을 거두게 된다.
• 가장 큰 레이어 크기(1,024개 유닛)에서 재학습 후 6비트 양자화가 가장 우수한 성능을 보이며, 기존에 큰 모델에서는 정밀도를 더 높여도 수익이 감소함을 시사한다.
• 효과적 압축 비율(ECR) 지표는 동일 정확도 수준에서 더 크고 극도로 양자화된 네트워크가 더 작은, 더 높은 정밀도의 네트워크보다 메모리 효율성이 뛰어날 수 있음을 성공적으로 식별했다.