[논문 리뷰] Utilizing Explainable AI for Quantization and Pruning of Deep Neural Networks

Muhammad Sabih, Frank Hannig외 1명|arXiv (Cornell University)|2020. 08. 20.

Adversarial Robustness in Machine Learning인용 수 16

한 줄 요약

이 논문은 설명 가능한 AI(Explainable AI)를 활용하여 딥 뉴럴 네트워크(DNN) 압축을 위한 통합 프레임워크를 제안한다. 특히 DeepLIFT를 사용해 구조적 및 비구조적 프루닝, 가중치 k-means 클러스터링을 통한 비균일 양자화, 혼합 정밀도 정수 양자화를 이끌어낸다. DeepLIFT을 통해 뉴런과 가중치의 중요도 점수를 할당함으로써, CIFAR-10, CIFAR-100, ImageNet 벤치마크에서 모델 크기와 계산 비용을 줄였음에도 불구하고 최신 기술 수준 또는 경쟁력 있는 정확도를 달성하였으며, 특히 재학습 없이도 기존 방법을 능가한다.

ABSTRACT

For many applications, utilizing DNNs (Deep Neural Networks) requires their implementation on a target architecture in an optimized manner concerning energy consumption, memory requirement, throughput, etc. DNN compression is used to reduce the memory footprint and complexity of a DNN before its deployment on hardware. Recent efforts to understand and explain AI (Artificial Intelligence) methods have led to a new research area, termed as explainable AI. Explainable AI methods allow us to understand better the inner working of DNNs, such as the importance of different neurons and features. The concepts from explainable AI provide an opportunity to improve DNN compression methods such as quantization and pruning in several ways that have not been sufficiently explored so far. In this paper, we utilize explainable AI methods: mainly DeepLIFT method. We use these methods for (1) pruning of DNNs; this includes structured and unstructured pruning of \\ac{CNN} filters pruning as well as pruning weights of fully connected layers, (2) non-uniform quantization of DNN weights using clustering algorithm; this is also referred to as Weight Sharing, and (3) integer-based mixed-precision quantization; this is where each layer of a DNN may use a different number of integer bits. We use typical image classification datasets with common deep learning image classification models for evaluation. In all these three cases, we demonstrate significant improvements as well as new insights and opportunities from the use of explainable AI in DNN compression.

연구 동기 및 목표

• 다양한 하드웨어 배포 환경에서 표준화되고 설명 가능하며 통합된 DNN 압축 접근법의 부족을 해결하기 위해.
• 모델 예측에 기여하는 정도에 따라 핵심 뉴런과 가중치를 식별하기 위해 설명 가능한 AI를 활용해 프루닝 및 양자화 기법을 향상시키기 위해.
• DNN 압축에서 MAC 연산과 파라미터 수(NPs)를 동시에 최적화할 수 있는 통합 프레임워크를 개발하기 위해.
• DeepLIFT 기반 가중치를 사용해 더 높은 클러스터링 효율성을 확보한 비균일 및 혼합 정밀도 양자화를 가능하게 하기 위해.
• 재학습에 의존하지 않고도 경쟁 가능한 성능을 유지함으로써, 재학습에 대한 의존도를 줄이기 위해.

제안 방법

• 모델 출력 예측에서의 기여도를 반영하는 뉴런과 가중치의 중요도 점수를 계산하기 위해 DeepLIFT를 사용한다.
• DeepLIFT 점수를 기반으로 반복적인 프루닝을 적용하여, 구조적 및 비구조적 환경 모두에서 낮은 중요도의 뉴런, 필터, 가중치를 제거한다.
• 비균일 양자화를 이끌기 위해 DeepLIFT 기반 가중치를 사용한 DeepLIFT Weighted MSE(DWMSE) 기준을 도입하여, 층의 민감도와 파라미터 수에 따라 중심점에 가중치를 적용함으로써 클러스터링 효율을 향상시킨다.
• 정밀도 손실을 최소화하기 위해 뉴런 민감도 점수에 기반한 계층적 비트 폭 할당 전략을 제안하며, 혼합 정밀도 정수 양자화를 위한 코arse-to-fine 탐색 전략을 적용한다.
• 재학습 없이도 정확도를 유지하기 위해, 양자화 후 배치 정규화를 校정한다.
• 민감도 기반 프루닝 및 양자화를 통해 MAC 연산, 파라미터 수, 또는 양자 모두를 최적화할 수 있는 통합 파이프라인을 사용한다.

실험 결과

연구 질문

• RQ1 DeepLIFT 기반 중요도 점수는 DNN의 구조적 및 비구조적 프루닝 성능을 향상시킬 수 있는가?
• RQ2 DeepLIFT 지도 가중 클러스터링은 비균일 양자화에서 표준 MSE 또는 헤시안 기반 가중치보다 우수한 성능을 낼 수 있는가?
• RQ3 민감도 기반 코어스-투-파인 탐색 전략을 통한 비트 폭 할당은 기존 방법보다 혼합 정밀도 정수 양자화에서 더 높은 정확도를 달성할 수 있는가?
• RQ4 제안된 방법은 재학습 없이도 높은 정확도를 유지하는가, 특히 저정밀도 환경에서 성능이 뛰어난가?
• RQ5 일관된 성능을 보장하는 단일 설명 가능한 AI 기반 프레임워크로 여러 DNN 압축 기법(프루닝, 양자화)을 통합할 수 있는가?

주요 결과

• 제안된 DeepLIFT Weighted MSE(DWMSE) 접근법은 ResNet20과 CIFAR-10에서 재학습 없이도 헤시안 기반 가중 MSE 및 표준 MSE보다 더 높은 양자화 정확도를 달성하였다.
• 혼합 정밀도 정수 양자화에서, 이 방법은 CIFAR-10에서 가중치에 대해 누적 비트 수 79, 활성화에 대해 79를 사용해 91.2%의 Top-1 정확도를 달성하였으며, 이는 이전의 헤시안 기반 방법(누적 비트 수 81과 88을 사용해 92.22% 정확도)을 초월하였다.
• DeepLIFT 기반 민감도 점수를 사용해 필터와 완전 연결 계층 가중치를 효과적으로 프루닝함으로써, 압축 효율성을 향상시켰다.
• 이 방법은 CIFAR-10, CIFAR-100, ImageNet 등 다양한 데이터셋과 모델에서 경쟁 가능한 성능을 보이며, 광범위한 적용 가능성을 입증하였다.
• 특히 재학습이 적용되지 않은 경우 비균일 양자화 및 혼합 정밀도 설정에서 뚜렷한 향상이 관찰되었다.
• 통합 접근법은 MAC 연산과 파라미터 수를 동시에 최적화하여, 다양한 하드웨어 배포 제약 조건에 대응하는 유연성을 제공하였다.