[논문 리뷰] Joint Pruning & Quantization for Extremely Sparse Neural Networks.

Po‐Hsiang Yu, Sih-Sian Wu외 3명|arXiv (Cornell University)|2020. 10. 05.

Advanced Neural Network Applications참고 문헌 25인용 수 10

한 줄 요약

이 논문은 스테레오 디프스 추정 네트워크에서 극한의 희박성(스패arsity)을 달성하기 위해 구조적 프루닝과 양자화를 동시에 적용하는 이단계 파이프라인을 제안한다. 프루닝에는 타일러 스코어를, 양자화 후 미세조정 전략에는 새로운 방법을 사용한다. 이 방법은 모델 메모리 크기를 99% 감소시키고 하드웨어 비용을 최대 99.9%까지 줄이며, 거의 최신 기술 수준의 정확도를 유지한다. 특히 프루닝만으로도 CIFAR-10 및 ImageNet에서 ResNet에 대해 기존 최신 기술 수준을 초월한다.

ABSTRACT

We investigate pruning and quantization for deep neural networks. Our goal is to achieve extremely high sparsity for quantized networks to enable implementation on low cost and low power accelerator hardware. In a practical scenario, there are particularly many applications for dense prediction tasks, hence we choose stereo depth estimation as target. We propose a two stage pruning and quantization pipeline and introduce a Taylor Score alongside a new fine-tuning mode to achieve extreme sparsity without sacrificing performance. Our evaluation does not only show that pruning and quantization should be investigated jointly, but also shows that almost 99% of memory demand can be cut while hardware costs can be reduced up to 99.9%. In addition, to compare with other works, we demonstrate that our pruning stage alone beats the state-of-the-art when applied to ResNet on CIFAR10 and ImageNet.

연구 동기 및 목표

• 저비용, 저전력 엣지 디바이스에서 딥 네트워크의 효율적 배포를 가능하게 하기 위해 모델 크기와 계산 비용을 극적으로 줄이는 것.
• 프루닝과 양자화의 상호보완적 영향을 조사하며, 특히 프루닝 순서가 양자화 노이즈와 모델 정확도에 미치는 영향을 분석하는 것.
• 스테레오 디프스 추정과 같은 밀도 예측 작업에서 성능을 훼손하지 않으면서 최대 99%의 메모리 감소를 달성하는 극한의 희박성 구현.
• 실시간 모바일 애플리케이션에 적합한 단일 하이퍼파rameter(임계값)만을 요구하는 실용적이고 사용하기 쉬운 파이프라인 개발.

제안 방법

• 이중 단계 파이프라인을 제안한다: 첫 번째 단계로, 손실 함수의 일阶 테일러 전개를 기반으로 한 타일러 스코어를 사용해 중요도가 낮은 필터를 식별하고 제거하는 구조적 프루닝을 수행한다.
• 프루닝 이후에 새로운 미세조정 모드를 도입하여 네트워크의 안정성을 높이고 정확도를 향상시키며, 특히 고희박도 영역에서의 성능 향상을 도모한다.
• 프루닝 이후에 잔류 가중치에 대해 점진적 양자화를 적용하여 가중치를 2의 거듭제곱 값으로 변환함으로써 고정소수점 연산을 효율적으로 구현한다.
• 타일러 스코어는 각 필터의 크기에 대한 손실 함수의 미분값으로 계산되며, 필터 수준의 중요도 평가를 가능하게 한다.
• 이 방법은 PSM-Net과 같은 스테레오 매칭 네트워크에 적용되며, 프루닝을 양자화 이전에 수행하여 양자화 노이즈를 최소화한다.
• 일반화 능력을 검증하기 위해 파이프라인은 스테레오 디프스 추정 및 표준 분류 벤치마크(CIFAR-10, ImageNet) 모두에서 평가된다.

실험 결과

연구 질문

• RQ1 프루닝을 양자화 이전에 수행할 경우, 양자화 첫 번째 또는 번갈아가며 수행하는 것과 비교해 양자화 노이즈를 줄이고 최종 모델 정확도를 향상시키는가?
• RQ2 단일 간단한 하이퍼파ram터(프루닝 임계값)로 전체 프루닝 과정을 제어하면서도 고희박도와 성능을 동시에 확보할 수 있는가?
• RQ3 스테레오 디프스 추정 네트워크에서 정확도가 크게 떨어지기 시작하기 이전까지 달성 가능한 최대 희박성은 얼마인가?
• RQ4 기존의 프루닝 기준(예: L1-노름, 기하 평균)과 비교해 제안된 타일러 스코어는 정확도와 희박성의 상호보완적 관계에서 어떤 성능을 보이는가?
• RQ5 프루닝 전용 파이프라인이 CIFAR-10 및 ImageNet과 같은 표준 벤치마크에서 최신 기술 수준의 방법을 초월할 수 있는가?

주요 결과

• 제안된 프루닝 방법만으로도 CIFAR-10 및 ImageNet에서 ResNet에 대해 기존 최신 기술 수준을 초월하는 성능을 달성하며, 유사한 희박도 수준에서 기존 최신 기술 수준의 방법보다 뛰어난 성능을 보인다.
• 프루닝을 양자화 이전에 수행할 경우, 양자화를 먼저 하거나 두 과정을 번갈아 수행하는 것보다 양자화 노이즈를 줄이고 더 높은 정확도를 달성한다.
• 이 방법은 스테레오 디프스 추정 네트워크에서 모델 메모리 크기를 최대 99% 감소시키고 하드웨어 비용을 최대 99.9%까지 줄인다.
• 69.95%의 희박성 조건에서도 프루닝 및 양자화된 모델은 ImageNet에서 상위-1 정확도 68.48%를 유지하며, 기준 모델 대비 정확도 손실이 1.28%에 불과하다.
• 스테레오 디프스 추정 작업에서 정확도 손실가 2% 미만이며, 예측된 깊이 맵의 시각적 차이도 거의 없어 보인다.
• 이 방법은 프루닝이 미세조정 과정에서 정규화 역할을 하여 고희박도 영역에서 일반화 성능을 향상시킨다는 점을 입증한다.