[논문 리뷰] Rate-Distortion Theoretic Model Compression: Successive Refinement for Pruning

Berivan Isik, Albert No외 1명|arXiv (Cornell University)|2021. 02. 16.

Adversarial Robustness in Machine Learning참고 문헌 114인용 수 7

한 줄 요약

이 논문은 신경망 압축을 비용-왜곡 최적화 문제로 공식화하며, 왜곡을 성능 손실을 측정하는 데 사용하고, 압축 정도를 정량화하는 데 사용한다. 이는 압축과 정확도 사이의 이론적 트레이드오프를 유도하며, 프루닝이 본질적으로 필요하다는 것을 보여주고, CIFAR-10과 ImageNet에서 기존 방법들을 능가하는 새로운 프루닝 전략을 제안한다.

ABSTRACT

We study the neural network (NN) compression problem, viewing the tension between the compression ratio and NN performance through the lens of rate-distortion theory. We choose a distortion metric that reflects the effect of NN compression on the model output and then derive the tradeoff between rate (compression ratio) and distortion. In addition to characterizing theoretical limits of NN compression, this formulation shows that \emph{pruning}, implicitly or explicitly, must be a part of a good compression algorithm. This observation bridges a gap between parts of the literature pertaining to NN and data compression, respectively, providing insight into the empirical success of pruning for NN compression. Finally, we propose a novel pruning strategy derived from our information-theoretic formulation and show that it outperforms the relevant baselines on CIFAR-10 and ImageNet datasets.

연구 동기 및 목표

• 압축 비율과 모델 성능 간의 관계를 수립하기 위해 신경망 압축을 비용-왜곡 최적화 문제로 공식화한다.
• 정보 이론 원리를 사용하여 신경망 압축의 이론적 한계를 규명한다.
• 통합된 이론적 시각에서 프루닝의 경험적 성공을 설명한다.
• 비용-왜곡 공식화에서 유도된 새로운 프루닝 전략을 개발하여 압축-성능 트레이드오프를 향상시킨다.
• 기존 기준선 대비 우수한 성능을 보여주기 위해 표준 벤치마크에서 제안된 방법을 검증한다.

제안 방법

• 압축이 모델 출력에 미치는 영향을 정량화하는 왜곡 메트릭을 정의하여 신경망 압축을 비용-왜곡 문제로 공식화한다.
• 신경망에 대한 이론적 비용-왜곡 트레이드오프 곡선을 유도하며, 압축의 기본 한계를 보여준다.
• 비용-왜곡 트레이드오프의 구조상 최적의 압축 전략에서는 반드시 암묵적 또는 명시적 프루닝이 필요하다는 것을 보여준다.
• 정보 이론적 공식화에 기반한 새로운 프루닝 전략을 제안하며, 왜곡 감소에 기여도가 높은 뉴런을 우선순위로 제거한다.
• 반복적으로 프루닝 전략을 적용하여 압축과 성능의 균형을 유지하면서 모델을 점진적으로 개선한다.
• CIFAR-10과 ImageNet에서 경험적으로 방법을 평가하여 정확도와 압축 비율 측면에서 관련 기준선과 비교한다.

실험 결과

연구 질문

• RQ1 비용-왜곡 이론의 관점에서 볼 때, 신경망의 압축률과 모델 성능 간의 이론적 트레이드오프는 무엇인가?
• RQ2 비용-왜곡 공식화에 따르면, 효과적인 신경망 압축에서 프루닝이 왜 본질적으로 필요할까?
• RQ3 비용-왜곡 원리에서 유도된 프루닝 전략은 표준 벤치마크에서 기존 방법들을 능가할 수 있는가?
• RQ4 CIFAR-10과 ImageNet에서 제안된 방법은 정확도와 압축 비율 측면에서 기준선과 어떻게 비교되는가?
• RQ5 비용-왜곡 프레임워크는 신경망 압축과 고전적 데이터 압축의 통찰을 어느 정도 통합하는가?

주요 결과

• 비용-왜곡 프레임워크는 프루닝이 히وري스틱이 아니라 최적의 신경망 압축에 필수적인 구성 요소임을 드러낸다.
• 제안된 프루닝 전략은 CIFAR-10과 ImageNet에서 기존 기준선보다 더 나은 압축-성능 트레이드오프를 달성한다.
• 이론적 비용-왜곡 곡선은 압축 알고리즘 평가를 위한 기본 기준이 된다.
• 왜곡 메트릭은 압축이 모델 출력에 미치는 영향을 효과적으로 캡처하여 의미 있는 최적화를 가능하게 한다.
• 실제로 프루닝의 성공은 비용-왜곡 이론에서 도출된 최적의 트레이드오프와의 일치성에 기인한다.
• 다양한 모델 아키텍처와 데이터셋에서 일관된 향상이 나타나, 제안된 방법의 일반화 능력을 검증한다.