[논문 리뷰] Channel-wise Hessian Aware trace-Weighted Quantization of Neural Networks

Xu Qian, Victor C. Li외 1명|arXiv (Cornell University)|2020. 08. 19.

Adversarial Robustness in Machine Learning참고 문헌 24인용 수 9

한 줄 요약

이 논문은 헤시안 트레이스를 사용해 채널 감도를 순위 매기고, DDPG 에이전트를 활용해 가중치 및 활성화에 걸쳐 채널 간 혼합 정밀도 비트 할당을 최적화하는 딥 강화학습 기반 방법인 채널별 헤시안 인식 추적 가중 침량(CW-HAWQ)을 제안한다. 이는 유사한 압축 비율에서 ResNet-50, ResNet-18, MobileNetV2에서 AutoQ 및 HAWQ-V2보다 낮은 상위-1 정확도 손실을 기록하면서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Second-order information has proven to be very effective in determining the redundancy of neural network weights and activations. Recent paper proposes to use Hessian traces of weights and activations for mixed-precision quantization and achieves state-of-the-art results. However, prior works only focus on selecting bits for each layer while the redundancy of different channels within a layer also differ a lot. This is mainly because the complexity of determining bits for each channel is too high for original methods. Here, we introduce Channel-wise Hessian Aware trace-Weighted Quantization (CW-HAWQ). CW-HAWQ uses Hessian trace to determine the relative sensitivity order of different channels of activations and weights. What's more, CW-HAWQ proposes to use deep Reinforcement learning (DRL) Deep Deterministic Policy Gradient (DDPG)-based agent to find the optimal ratios of different quantization bits and assign bits to channels according to the Hessian trace order. The number of states in CW-HAWQ is much smaller compared with traditional AutoML based mix-precision methods since we only need to search ratios for the quantization bits. Compare CW-HAWQ with state-of-the-art shows that we can achieve better results for multiple networks.

연구 동기 및 목표

• 기존 혼합 정밀도 침량 방법이 층 단위의 비트 폭만 최적화하는 데 그치며, 층 내에서의 중복 차이가 크다는 점을 해결하기 위해.
• 채널 간 혼합 정밀도 침량의 탐색 공간 복잡도를 줄이기 위해, 기존의 전수 또는 표준 강화학습 접근 방식으로는 비현실적인 큰 탐색 공간을 해결하기 위해.
• 이阶 감도 정보를 활용해 가중치 및 활성화 채널의 정밀도 비트 폭을 동시에 최적화하여 모델 정확도와 압축 효율을 향상시키기 위해.
• 상태 공간을 비트 비율 구성으로만 단순화시켜 효율적이고 효과적인 정책 학습이 가능한 확장 가능한 강화학습 프레임워크를 개발하기 위해.

제안 방법

• 가중치 및 활성화의 각 채널에 대해 헤시안 트레이스를 계산하여 침량 오차에 대한 상대적 감도를 결정한다.
• 헤시안 트레이스 기반으로 채널을 감도 순서로 정렬하여 비트 할당 결정의 가이드라인을 설정한다.
• 딥 디터미니스틱 정책 그래디언트(DDPG) 에이전트를 사용해 개별 채널 비트 할당을 탐색하는 대신, 채널 간 비트 폭 비율(예: 2, 3, 4, 5, 6, 7, 8)의 최적 조합을 탐색하도록 학습한다.
• 에이전트는 비트 비율 구성으로만 이루어진 축소된 상태 공간에서 작동하므로, 기존의 AutoML 기반 탐색 방식에 비해 계산 복잡도를 크게 낮춘다.
• 이 프레임워크는 두 단계 침량을 수행한다: 먼저 DDPG 에이전트를 사용해 활성화 비트 폭을 최적화하고, 그 결과 모델을 미세조정한 후 가중치 비트 폭을 최적화한다.
• 활성화 침량에는 훈련 가능한 클리핑 임계값을 가진 PACT를 사용하고, 가중치에는 대칭 삼치 또는 2비트 SAWB 스타일의 빈팅을 사용해 침량 오차를 줄인다.

실험 결과

연구 질문

• RQ1 헤시안 트레이스는 혼합 정밀도 침량에서 가중치 및 활성화의 채널 수준 감도를 효과적으로 순위 매기는데 사용될 수 있는가?
• RQ2 상태 공간을 비트 비율 구성으로만 단순화했을 때, DDPG 기반 강화학습 에이전트가 채널 간 혼합 정밀도 탐색 공간을 효율적으로 탐색할 수 있는가?
• RQ3 채널 간 혼합 정밀도 침량은 정확도 및 압축 효율 측면에서 층 단위 또는 균일 침량보다 뛰어나게 성능을 발휘하는가?
• RQ4 제안된 방법은 AutoQ 및 HAWQ-V2와 같은 최신 기술 수준의 방법보다 더 높은 정확도를 달성하면서도 낮은 상위-1 정확도 손실을 유지할 수 있는가?

주요 결과

• ResNet-50에서 CW-HAWQ는 평균 가중치 비트 수 2.61, 활성화 비트 수 4로 상위-1 정확도 76.65%를 기록했으며, 전체 정밀도 기준 기준선 대비 상위-1 정확도 손실은 단지 -0.2%에 그쳤다.
• 가중치 압축 비율 14.48배일 때, CW-HAWQ는 상위-1 정확도 75.57%를 기록했고, 평균 가중치 비트 수 2.21, 활성화 비트 수 3.07을 기록하여 AutoQ보다 정확도에서 1.2% 높고 상위-1 정확도 손실을 0.88% 감소시켰다.
• ResNet-18에서 CW-HAWQ는 평균 가중치 비트 수 2.19, 활성화 비트 수 3.02로 상위-1 정확도 69.02%를 기록했으며, AutoQ보다 정확도에서 1.6% 높고 상위-1 정확도 손실을 0.85% 감소시켰다.
• MobileNetV2에서 CW-HAWQ는 평균 가중치 비트 수 2.26, 활성화 비트 수 3.13로 상위-1 정확도 69.85%를 기록했으며, AutoQ보다 정확도에서 1.2% 높고 상위-1 정확도 손실을 0.47% 감소시켰다.
• 모든 평가된 모델에서 최신 기술 수준의 성능을 달성하였으며, DDPG를 통한 채널 간 감도 인식 비트 할당이 뛰어난 정확도와 효율성을 이끌어낸다는 것을 입증했다.