[논문 리뷰] Differentiable Joint Pruning and Quantization for Hardware Efficiency

Ying Wang, Yadong Lu외 1명|arXiv (Cornell University)|2020. 07. 20.

Advanced Neural Network Applications참고 문헌 35인용 수 5

한 줄 요약

이 논문은 하드웨어 효율적 추론을 위한 구조적 프루닝과 혼합 정밀도 양자화를 동시에 최적화하는 통합 가능한 미분 가능 프레임워크인 Differentiable Joint Pruning and Quantization(DJPQ)를 제안한다. 변동 정보 버블박스 기반 프루닝과 한 개의 손실 내에서 미분 가능한 양자화를 통합함으로써, DJPQ는 ImageNet에서 ResNet18 기준 53배, MobileNetV2 기준 43배의 BOPs 감소를 달성하면서도 상위 1위 정확도를 유지하며, 이중 단계적 접근법을 뛰어넘고, 파ow-2 비트 제한 양자화를 지원하면서 정확도 손실를 최소화한다.

ABSTRACT

We present a differentiable joint pruning and quantization (DJPQ) scheme. We frame neural network compression as a joint gradient-based optimization problem, trading off between model pruning and quantization automatically for hardware efficiency. DJPQ incorporates variational information bottleneck based structured pruning and mixed-bit precision quantization into a single differentiable loss function. In contrast to previous works which consider pruning and quantization separately, our method enables users to find the optimal trade-off between both in a single training procedure. To utilize the method for more efficient hardware inference, we extend DJPQ to integrate structured pruning with power-of-two bit-restricted quantization. We show that DJPQ significantly reduces the number of Bit-Operations (BOPs) for several networks while maintaining the top-1 accuracy of original floating-point models (e.g., 53x BOPs reduction in ResNet18 on ImageNet, 43x in MobileNetV2). Compared to the conventional two-stage approach, which optimizes pruning and quantization independently, our scheme outperforms in terms of both accuracy and BOPs. Even when considering bit-restricted quantization, DJPQ achieves larger compression ratios and better accuracy than the two-stage approach.

연구 동기 및 목표

• 프루닝과 양자화를 별도로 최적화하는 전통적인 이중 단계 압축 파이프라인의 비효율성을 해결한다.
• 통합 가능한 미분 가능한 목표 함수를 통해 모델 희박성과 비트 정밀도 간의 트레이드오프를 종합적으로 최적화한다.
• 대부분의 디지털 가속기에서 천연적으로 효율적인 파워-2 비트 폭 제약을 갖춘 혼합 정밀도 양자화를 지원함으로써 하드웨어 효율성을 향상시킨다.
• 단일 학습 절차 내에서 종단 간 압축을 가능하게 하여 반복적 트레이닝과 피지컬 튜닝의 필요성을 줄인다.
• 프루닝과 양자화의 공동 최적화를 통해 극한의 압축 비율을 달성하면서도 높은 모델 정확도를 유지한다.

제안 방법

• 변동 정보 버블박스(VIB)를 이용한 구조적 프루닝과 혼합 정밀도를 위한 미분 가능한 양자화(DQ)를 결합한 손실 함수를 사용하여 모델 압축을 통합 가능한 미분 가능한 최적화 문제로 공식화한다.
• 학습 가능한 온도 매개변수를 갖는 VIB 기반 채널 프루닝을 통합하여 층 간의 기울기 기반 희박성 제어를 가능하게 한다.
• 각 층에 대해 학습 가능한 비트 폭을 갖는 미분 가능한 양자화를 적용하여 기울기 기반의 정밀도 최적화를 각 층에서 가능하게 한다.
• 비트 폭 제약을 강제하기 위해 비틀림 없는 유사화를 적용하여 프레임워크를 파워-2 비트 제한 양자화를 지원하도록 확장한다.
• 확률적 경사 하강법을 사용하여 통합 목표를 최적화함으로써 단일 순전파-역전파 단계 내 종단 간 학습을 가능하게 한다.
• 압축 효율성 평가 및 최적화 유도를 위해 하드웨어 인식 서rogate 측정 기준으로 비트 연산(BOPs)을 사용한다.

실험 결과

연구 질문

• RQ1 이중 단계적 접근법과 비교해, 미분 가능한 학습을 통한 프루닝과 양자화의 공동 최적화가 더 뛰어난 하드웨어 효율성을 달성할 수 있는가?
• RQ2 독립적인 프루닝과 양자화와 비교해, 공동 최적화가 모델 정확도와 BOPs 감소에 어떤 영향을 미치는가?
• RQ3 실제로 파워-2 비트 제약 조건 하에서 혼합 정밀도 비트 폭을 효과적으로 학습할 수 있는가?
• RQ4 네트워크 내 각 층에서 프루닝 비율과 학습된 비트 폭 분포 간의 관계는 어떠한가?
• RQ5 공동 최적화가 히우리스틱 또는 고정 비트 양자화 전략보다 더 효율적이고 정확도가 높은 모델 압축을 이끌어낼 수 있는가?

주요 결과

• DJPQ는 ImageNet에서 ResNet18에 대해 전체 정밀도 모델 대비 0.5% 정확도 손실만으로 BOPs를 53배 감소시켰다.
• MobileNetV2의 경우 DJPQ는 BOPs를 43배 감소시키면서 원본 부동소수점 모델과 상위 1위 정확도의 차이가 0.75% 이내를 유지했다.
• 이중 단계적 접근법(프루닝 → 양자화)과 비교해 DJPQ는 유사한 BOPs 감소 수준에서 더 높은 정확도(69.27% 대 68.52%)를 달성했다.
• 비트 제약이 있는 DJPQ 변형(DJPQ-restrict)은 ResNet18에서 BOPs를 52배 감소시켰고, 정확도 저하가 거의 없었으며, DQ-restrict 및 고정 비트 기반 베이스라인을 모두 능가했다.
• 층별 분석 결과, 초기 층은 강하게 프루닝되었고, MobileNetV2의 잔여 연결 및 포인트와이즈 컨볼루션은 더 높은 비트 폭이 할당되어 압축에 민감한 특성을 반영했다.
• VIB에서 학습된 온도 매개변수는 프루닝 강도와 상관관계를 보였다: 낮은 값은 더 높은 프루닝을 의미하며, 프루닝이 없는 층은 온도가 약 1에 가까웠다. 이는 프루닝과 양자화 간의 동적 상호작용을 입증한다.