[논문 리뷰] Divide and Conquer: Leveraging Intermediate Feature Representations for Quantized Training of Neural Networks

Ahmed T. Elthakeb, Prannoy Pilligundla외 2명|arXiv (Cornell University)|2019. 06. 14.

Advanced Neural Network Applications참고 문헌 28인용 수 6

한 줄 요약

이 논문은 전체 정밀도 교사 네트워크를 섹션으로 분할하고, 각 섹션에 대해 교사의 중간 특징 표현을 사용하여 독립적으로 훈련하는 양자화된 학생 네트워크를 만들며, 이를 통해 완전히 양자화된 모델을 조립하는 새로운 지식 정련 프레임워크인 DCQ(Divide and Conquer Quantization)를 제안한다. DCQ는 바이너리 양자화에서 SOTA보다 21.6% 향상되고, 트리너리 양자화에서 9.3% 향상되어 정확도 손실을 크게 감소시키면서도 효율적인 추론을 가능하게 한다.

ABSTRACT

The deep layers of modern neural networks extract a rather rich set of features as an input propagates through the network. This paper sets out to harvest these rich intermediate representations for quantization with minimal accuracy loss while significantly reducing the memory footprint and compute intensity of the DNN. This paper utilizes knowledge distillation through teacher-student paradigm (Hinton et al., 2015) in a novel setting that exploits the feature extraction capability of DNNs for higher-accuracy quantization. As such, our algorithm logically divides a pretrained full-precision DNN to multiple sections, each of which exposes intermediate features to train a team of students independently in the quantized domain. This divide and conquer strategy, in fact, makes the training of each student section possible in isolation while all these independently trained sections are later stitched together to form the equivalent fully quantized network. Our algorithm is a sectional approach towards knowledge distillation and is not treating the intermediate representation as a hint for pretraining before one knowledge distillation pass over the entire network (Romero et al., 2015). Experiments on various DNNs (AlexNet, LeNet, MobileNet, ResNet-18, ResNet-20, SVHN and VGG-11) show that, this approach -- called DCQ (Divide and Conquer Quantization) -- on average, improves the performance of a state-of-the-art quantized training technique, DoReFa-Net (Zhou et al., 2016) by 21.6% and 9.3% for binary and ternary quantization, respectively. Additionally, we show that incorporating DCQ to existing quantized training methods leads to improved accuracies as compared to previously reported by multiple state-of-the-art quantized training methods.

연구 동기 및 목표

• 정밀도 손실을 최소화하면서 메모리 및 계산 비용을 줄이는 양자화된 신경망의 정확도 저하를 줄이기 위해.
• 딥 네트워크가 학습한 풍부한 계층적 특징 표현을 활용하여 양자화 성능을 향상시키기 위해.
• 중간 활성값을 사용하여 각 네트워크 섹션을 독립적으로 훈련하는 섹션별 지식 정련 방법을 개발하기 위해.
• 기존 네트워크 아키텍처를 수정하지 않고도 전체 정밀도 모델과 양자화된 모델 간의 정확도 격차를 해소하기 위해.
• 모듈러 훈련을 통해 교사의 아키텍처를 유지하면서 효율적인 저비트폭 추론을 가능하게 하기 위해.

제안 방법

• 기존에 훈련된 전체 정밀도 DNN를 여러 섹션으로 분할하며, 각 섹션은 네트워크의 특정 세그먼트에 대응한다.
• 각 섹션에 대해, 해당 교사 섹션의 중간 특징 매핑을 지도로 사용하여 양자화된 학생 네트워크를 독립적으로 훈련시킨다.
• 섹션별 다중 역전파 기법을 사용하여 표준 경사 하강법으로 학생과 교사의 특징 표현 간 손실을 최적화한다.
• 손실은 각 섹션에서 교사의 중간 활성값과 양자화된 학생의 활성값 간의 회귀 손실로 계산된다.
• 독립적인 훈련 후, 학생의 각 섹션을 조립하여 완전히 양자화된 DNN를 구성한다.
• 이 방법은 중간 특징을 사전 훈련용 힌트로 사용하지 않으며, 전체 학생 네트워크에 대해 최종 정련 단계를 적용하지도 않는다.

실험 결과

연구 질문

• RQ1 전체 정밀도 네트워크의 중간 특징 표현을 사용하여 정량화된 학생 네트워크를 최소한의 정확도 손실로 훈련시킬 수 있는가?
• RQ2 각 네트워크 섹션을 독립적으로 훈련하는 섹션별 지식 정련 접근법이 종단간 지식 정련보다 정량화 정확도를 향상시키는가?
• RQ3 이 방법은 바이너리 및 트리너리 설정에서 DoReFa-Net과 같은 최신 정량화 훈련 기법을 초월할 수 있는가?
• RQ4 이 방법을 기존 정량화 방법에 후처리 단계로 통합했을 때, 얼마나 높은 정확도 향상을 이룰 수 있는가?
• RQ5 딥 네트워크의 계층적 특징 학습 능력이 이 분할 및 정복 정련 전략을 통해 효과적으로 활용되는가?

주요 결과

• DCQ는 여러 네트워크 평균 기준으로 DoReFa-Net의 바이너리 양자화에서 21.6% 향상되고, 트리너리 양자화에서 9.3% 향상된다.
• AlexNet, LeNet, MobileNet, ResNet-18, ResNet-20, SVHN, VGG-11 등의 벤치마크에서 DCQ는 여러 SOTA 정량화 훈련 기법보다 높은 정확도를 달성한다.
• DCQ는 중간 특징 표현을 효과적으로 활용하여 전체 정밀도 모델과 양자화 모델 간의 정확도 격차를 줄인다.
• 섹션별 훈련 전략은 각 네트워크 세그먼트의 독립 최적화를 가능하게 하여 훈련 안정성과 수렴 성능를 향상시킨다.
• 기존 정량화 파ip라인에 DCQ를 통합하면 이전에 보고된 결과보다 측정 가능한 정확도 향상을 이룬다.
• 이 방법은 원래 교사 네트워크 아키텍처를 유지하면서 모듈러 정련을 통해 고정밀도 정량화를 달성한다.