[논문 리뷰] RPR: Random Partition Relaxation for Training; Binary and Ternary Weight Neural Networks

Lukas Cavigelli, Luca Benini|arXiv (Cornell University)|2020. 01. 04.

Advanced Neural Network Applications참고 문헌 31인용 수 8

한 줄 요약

RPR (Random Partition Relaxation)는 SGD 기반 최적화 중에 양자화된 가중치의 무작위 파artitions를 연속 값으로 순차적으로 이완함으로써 이진 및 삼진 가중치 신경망을 위한 새로운 훈련 방법이다. 이는 GoogLeNet에서 최신 기술 수준의 정확도를 달성하고 ResNet-18 및 ResNet-50에서도 경쟁 가능한 성능을 보이며, 표준 딥 러닝 프레임워크와의 호환성을 유지한다.

ABSTRACT

We present Random Partition Relaxation (RPR), a method for strong quantization of neural networks weight to binary (+1/-1) and ternary (+1/0/-1) values. Starting from a pre-trained model, we quantize the weights and then relax random partitions of them to their continuous values for retraining before re-quantizing them and switching to another weight partition for further adaptation. We demonstrate binary and ternary-weight networks with accuracies beyond the state-of-the-art for GoogLeNet and competitive performance for ResNet-18 and ResNet-50 using an SGD-based training method that can easily be integrated into existing frameworks.

연구 동기 및 목표

• 저전력 IoT 및 모바일 장치에 딥 뉴럴 네트워크를 구현하기 위해 강한 가중치 양자화를 통해 모델 크기와 계산 비용을 줄이는 데 도전하는 것.
• 양자화 및 재훈련 후로 일반적으로 발생하는 이진 및 삼진 가중치 네트워크(BWNs/TWNs)의 정확도 저하 문제를 해결하는 것.
• 복잡한 대안들(예: ADMM)과 달리 표준 SGD 최적화를 사용함으로써 표준 딥 러닝 프레임워크와의 호환성을 유지하는 훈련 방법을 개발하는 것.
• 특수한 아키텍처 수정이나 하드웨어 인식 양자화 수준을 요구하지 않으면서도 이진 및 삼진 가중치 네트워크에서 최신 기술 수준의 정확도를 달성하는 것.

제안 방법

• RPR는 양자화된 네트워크의 훈련을 혼합정수비선형계획문제로 공식화하고, 훈련 중에 무작위로 선택된 작은 가중치 파artitions를 이산 값에서 연속 값으로 순차적으로 이완하기 위해 교차 최적화를 사용한다.
• 이 방법은 모든 가중치를 양자화하고, 랜덤으로 선택된 부분집합을 연속 값으로 이완하는 것을 번갈아가며, 나머지 가중치는 여전히 양자화된 상태로 유지하면서 이완된 가중치에 대해 기울기 업데이트를 허용한다.
• 이완된 파artition에 대해 재훈련한 후, 가중치는 다시 양자화되고, 새로운 랜덤 파artition로 반복되며, 이는 네트워크의 점진적 정교화를 가능하게 한다.
• 이 접근법은 표준 SGD 기반 훈련 파이프라인과 완전히 호환되며, PyTorch와 같은 기존 딥 러닝 프레임워크에 쉽게 통합될 수 있다.
• 이 방법은 이진({-1, 1}) 및 삼진({-1, 0, 1}) 가중치 양자화를 모두 지원하며, 첫 번째 및 마지막 레이어의 양자화를 생략할 수 있는 옵션도 제공한다.

실험 결과

연구 질문

• RQ1 복잡한 최적화나 아키텍처 변경 없이도 단순하고 SGD 호환 훈련 방법이 이진 및 삼진 가중치 신경망에서 최신 기술 수준의 정확도를 달성할 수 있는가?
• RQ2 표준 양자화 방법과 비교해 무작위 가중치 파artitions의 교차 이완이 강한 양자화 네트워크의 일반화 및 정확도 향상에 기여하는가?
• RQ3 RPR는 ADMM 및 TTQ와 같은 기존 최신 기술 수준의 방법을 능가하면서도 하드웨어 효율성과 프레임워크 호환성을 유지할 수 있는가?
• RQ4 RPR는 이진 및 삼진 가중치 제약 하에서 GoogLeNet, ResNet-18, ResNet-50와 같은 다양한 네트워크 아키텍처에서 상위-1 및 상위-5 정확도 측면에서 어떻게 성능을 내는가?

주요 결과

• 삼진 가중치를 사용할 때 RPR는 GoogLeNet에서 상위-1 정확도 64.88%와 상위-5 정확도 86.05%를 달성하여 이전 최신 기술 수준(ADMM)보다 각각 1.7%와 1.76% 높게 기록했다.
• GoogLeNet에서 이진 가중치를 사용할 때 RPR는 상위-1 정확도 62.01%와 상위-5 정확도 84.83%를 기록했으며, XNOR-Net BWN 및 ADMM 방법을 모두 능가했다.
• ResNet-18에서 삼진 가중치를 사용할 경우 RPR는 상위-1 정확도 66.31%와 상위-5 정확도 87.84%를 달성했으며, 표준 SGD를 사용함에도 불구하고 ADMM의 성능을 그대로 따라갔다.
• ResNet-18에서 이진 가중치를 사용할 경우 RPR는 상위-1 정확도 64.62%와 상위-5 정확도 86.01%를 기록했으며, XNOR-Net BWN 및 INQ를 모두 능가했다.
• ResNet-50에서 삼진 가중치를 사용할 경우 RPR는 상위-1 정확도 71.83%와 상위-5 정확도 90.28%를 기록했으며, 복잡한 최적화를 피하면서도 ADMM의 성능에 매우 가까이 접근했다.
• 이 방법은 표준 딥 러닝 프레임워크와의 호환성을 유지하며, ADMM와 같은 이전 방법들에서의 코드나 모델 배포가 필요 없어 더 넓은 재현 가능성과 통합 가능성을 보장한다.