[논문 리뷰] An Information-Theoretic Justification for Model Pruning

Berivan Isik, Tsachy Weissman외 1명|arXiv (Cornell University)|2021. 02. 16.

Adversarial Robustness in Machine Learning인용 수 9

한 줄 요약

이 논문은 비용-왜곡 이론에 기반한 새로운 신경망 프루닝 방법인 SuRP를 제안한다. 이 방법은 모델 압축을 압축 비율과 출력 왜곡 사이의 정보 이론적 트레이드오프로 정의한다. 출력 편차 기반의 왜곡 측도와 가중치 분포 모델링을 통해 유도한 바, 프루닝은 최적의 압축을 위해 이론적으로 필수적임을 보이며, CIFAR-10과 ImageNet에서 기존 최고 수준의 기준들보다 더 높은 정확도를 달성한다. 동일한 희박성 수준에서.

ABSTRACT

We study the neural network (NN) compression problem, viewing the tension between the compression ratio and NN performance through the lens of rate-distortion theory. We choose a distortion metric that reflects the effect of NN compression on the model output and derive the tradeoff between rate (compression) and distortion. In addition to characterizing theoretical limits of NN compression, this formulation shows that \emph{pruning}, implicitly or explicitly, must be a part of a good compression algorithm. This observation bridges a gap between parts of the literature pertaining to NN and data compression, respectively, providing insight into the empirical success of model pruning. Finally, we propose a novel pruning strategy derived from our information-theoretic formulation and show that it outperforms the relevant baselines on CIFAR-10 and ImageNet datasets.

연구 동기 및 목표

• 신경망 압축과 고전적 데이터 압축 간 격차를 메우기 위해, 모델 프루닝에 비용-왜곡 이론을 적용함으로써.
• 출력 편차를 반영하는 왜곡 측도 하에서 손실 압축의 이론적 한계를 규명함으로써.
• 최적의 압축을 위해 프루닝이 본질적으로 필요하다는 것을 보여줌으로써, 최소 왜곡 비율이 희박 모델을 요구한다는 점을 이론적으로 입증함으로써.
• 기존 방법보다 우수한 성능을 보이는 새로운 프루닝 전략—SuRP—를 정보 이론 원리에 기반해 개발함으로써.

제안 방법

• 가중치 압축으로 인한 출력 편차를 상한하는 왜곡 측도를 정의함으로써.
• 실제 세계의 파rameter 통계를 반영하기 위해 무거운 尾 분포를 사용해 신경망 가중치의 분포를 모델링함으로써.
• 선택된 왜곡 및 분포에 대한 비용-왜곡 함수를 유도하여, 압축 비율과 출력 왜곡 사이의 이론적 트레이드오프를 특성화함으로써.
• 계속적인 정밀화를 활용하여 반복적 프루닝을 통해 희박성을 유도하는 실용적 압축 알고리즘을 설계함으로써.
• 점수 기반 히우리스틱 없이 정보 이론 기반 기준만을 사용해 비용-왜곡 비용을 최소화하는 방식으로 SuRP를 제안함으로써.
• CIFAR-10과 ImageNet에서의 실험을 통해 정확도, 희박성, 비트 비율을 여러 기준들과 비교함으로써 방법을 검증함으로써.

실험 결과

연구 질문

• RQ1 출력 편차를 반영하는 왜곡 측도 하에서 신경망 압축의 기본 이론적 한계는 무엇인가?
• RQ2 최적의 신경망 압축에서 프루닝이 왜 필수적인가? 이는 정보 이론적으로 어떻게 정당화될 수 있는가?
• RQ3 비용-왜곡 이론에서 유도된 프루닝 전략은 기존의 점수 기반 또는 히우리스틱 프루닝 방법보다 뛰어나게 성능을 낼 수 있는가?
• RQ4 표준 벤치마크에서 제안된 방법은 최고 수준의 기준들과 비교해 정확도와 압축 효율성 측면에서 어떻게 비교되는가?
• RQ5 동일한 정보 이론 프레임워크를 연합 학습에서 신경망 기울기 압축에 확장할 수 있는가?

주요 결과

• SuRP는 CIFAR-10에서 59% 프루닝 비율일 때 90.96%의 정확도, 99.26% 프루닝 비율일 때 70.76%의 정확도를 기록하여 모든 기준들을 능가한다.
• ImageNet에서는 80% 프루닝일 때 75.54%의 상위-1 정확도, 90% 프루닝일 때 73.93%의 정확도를 기록하여 Adaptive, SNIP, DSR, SNFS, RiGL를 모두 능가한다.
• 비트 비율 효율성이 뛰어나, ResNet-50를 6.1 MB(16배 압축)로 압축하면서도 76.4%의 정확도를 유지하여 Deep Comp.과 DeepCABAC를 능가한다.
• LeNet-5에서는 오직 5 KB(344배 압축)로 99.3%의 정확도를 달성하여 Deep Comp.과 DNS를 정확도와 압축 비율 모두에서 능가한다.
• 이론적 분석을 통해 정의된 왜곡 측도 하에서 최적의 압축은 희박 모델을 요구함을 확인하여, 프루닝이 효율적인 압축 체계의 필수 구성 요소임을 정당화한다.
• 이 방법은 연합 학습에서 기울기 압축으로 일반화되며, 통신 효율적인 모델 학습을 위한 도구를 제공한다.