[논문 리뷰] Switchable Precision Neural Networks

Luis Guerra, Bohan Zhuang외 2명|arXiv (Cornell University)|2020. 02. 07.

Neural Networks and Applications참고 문헌 54인용 수 15

한 줄 요약

이 논문은 추론 중에 실시간 정밀도 조정이 가능한 통합 아키텍처인 스위치 가능한 정밀도 신경망(SP-Nets)을 제안한다. 이는 정밀도-효율성 균형을 동적으로 조정할 수 있도록 한다. 스위치 가능한 배치 정규화와 자기 지식 정교화 학습 기법을 결합하여, SP-Nets는 다양한 정밀도 수준에서 뛰어난 정확도를 달성하며, 독립적으로 훈련된 정밀도 낮은 모델을 능가한다. 이는 자원이 제한된 장치와도 호환된다.

ABSTRACT

Instantaneous and on demand accuracy-efficiency trade-off has been recently explored in the context of neural networks slimming. In this paper, we propose a flexible quantization strategy, termed Switchable Precision neural Networks (SP-Nets), to train a shared network capable of operating at multiple quantization levels. At runtime, the network can adjust its precision on the fly according to instant memory, latency, power consumption and accuracy demands. For example, by constraining the network weights to 1-bit with switchable precision activations, our shared network spans from BinaryConnect to Binarized Neural Network, allowing to perform dot-products using only summations or bit operations. In addition, a self-distillation scheme is proposed to increase the performance of the quantized switches. We tested our approach with three different quantizers and demonstrate the performance of SP-Nets against independently trained quantized models in classification accuracy for Tiny ImageNet and ImageNet datasets using ResNet-18 and MobileNet architectures.

연구 동기 및 목표

• 모델이 단일 정밀도 수준에서 고정되어 있어 런타임 자원 제약에 대응할 수 없는 정적 정밀도 낮춤 기법의 문제를 해결한다.
• 메모리, 지연, 전력 제약이 변할 수 있는 환경에서, 가중치와 활성화에 대해 실시간으로 정밀도를 스위칭할 수 있도록 한다.
• 다양한 정밀도 스위치 간의 배치 정규화 불일치 문제를 해결하여 다중 정밀도 네트워크의 훈련 불안정성을 해결한다.
• 풀-정밀도 교사 네트워크로부터 지식을 얻는 자기 지식 정교화 전략을 통해 저정밀도 스위치의 성능을 향상시킨다.
• ResNet-18과 MobileNet을 포함한 다양한 정밀도 변환기와 모델 아키텍처에서 ImageNet과 Tiny ImageNet 벤치마크에서 SP-Nets의 효과를 입증한다.

제안 방법

• 스위치 가능한 배치 정규화(S-BN)를 도입하여, 각 정밀도 스위치가 독립적인 배치 정규화 통계를 유지함으로써 훈련 중 특징 분포 불일치를 방지한다.
• 자기 지식 정교화 학습 기법을 제안하여, 풀-정밀도 스위치가 교사 역할을 하여 최적화 과정에서 저정밀도 학생 스위치를 소프트 레이블로 안내한다.
• 모든 스위치에서 유도된 기울기를 조합하여 최적화기 업데이트 이전에 공유된 네트워크를 훈련함으로써, 다중 정밀도 스위치를 공유하는 단일 네트워크를 훈련한다.
• ReLU 기반, 로그 기반, 균일 정밀도 변환 함수 등 다양한 정밀도 변환 함수를 지원하며, 추가적인 모델 압축을 위한 너비 감소 기능도 통합한다.
• 교차 엔트로피 손실($\mathcal{L}_{\text{out}}$)과 지식 정교화 손실($\mathcal{L}_{f}$)을 조합한 손실 함수를 사용하며, 초모델 파라미터 $\alpha_1=1$, $\alpha_2=10^{-7}$를 통해 목적 간 균형을 맞춘다.
• 런타임 추론을 가능하게 하여, 가중치와 활성화에 대해 원하는 비트 폭을 동적으로 선택함으로써 기기 제약 조건에 즉각적으로 대응할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 가중치와 활성화에 대해 성능 저하가 최소한이 되는 다중 정밀도 수준을 지원하는 단일 신경망을 훈련시킬 수 있는가?
• RQ2 공동 훈련 중 다양한 정밀도 스위치 간의 배치 정규화 불일치 문제를 어떻게 해결할 수 있는가?
• RQ3 풀-정밀도 교사에서 유도된 지식 정교화가 공유 네트워크 내 저정밀도 스위치의 정확도를 향상시키는가?
• RQ4 정밀도 스위치의 수가 훈련 안정성과 최종 모델 성능에 미치는 영향는 어떠한가?
• RQ5 다양한 정밀도 변환 방식과 모델 아키텍처에서 SP-Nets가 독립적으로 훈련된 정밀도 낮은 모델을 능가할 수 있는가?

주요 결과

• 자기 지식 정교화를 통한 SP-Nets는 독립적으로 훈련된 정밀도 낮은 모델보다 높은 상위-1 정확도를 달성하며, ResNet-18 기반으로 32비트 가중치와 3비트 활성화를 사용할 때 Tiny ImageNet에서 54.5%의 상위-1 정확도를 기록한다.
• 자기 지식 정교화 기법은 저정밀도 스위치의 성능을 향상시키며, 로그 기반 2 정밀도 변환기에서 비정교화 훈련 대비 최대 3.9%p의 정확도 향상을 이룬다.
• 스위치 가능한 배치 정규화(S-BN)는 수렴에 필수적이다: S-BN이 없는 네트워크는 모든 스위치에서 정확도가 정체되지만, S-BN을 사용할 경우 안정적이고 점진적인 학습이 가능하다.
• 스위치 수는 훈련 동역학에 영향을 미친다: 스위치 수를 4개에서 16개로 늘릴 경우 초기 학습률을 낮추어야 하며, 이는 약간 낮은 정확도를 초래함을 시사한다. 이는 최적화 복잡성과의 상충 관계를 반영한다.
• SP-Nets는 가중치와 활성화가 모두 정밀도 낮춤에 민감함을 보이며, 모델에 따라 영향 정도가 다르게 나타난다. ResNet-18에서는 가중치가 활성화만큼 민감한 반면, MobileNet에서는 활성화가 더 민감하다.
• 2비트 가중치와 32비트 활성화를 사용하는 SP-Net은 Tiny ImageNet에서 53.3%의 상위-1 정확도를 달성했고, 32비트 가중치와 2비트 활성화 스위치는 53.9%의 정확도를 기록하여 정밀도 선택이 성능에 상당한 영향을 미친다는 것을 보여준다.