[논문 리뷰] A Unified DNN Weight Compression Framework Using Reweighted Optimization Methods

Tianyun Zhang, Xiaolong Ma외 8명|arXiv (Cornell University)|2020. 04. 12.

Advanced Data Compression Techniques참고 문헌 34인용 수 4

한 줄 요약

이 논문은 재가중 최적화를 사용하여 고정밀도, 고비율의 구조적 및 비구조적 희소성과 자동 초파rameter 조정을 달성하는 통합 DNN 가중치 프루닝 프레임워크를 제안한다. ADMM의 하드 $\varepsilon$-노름 제약 조건을 동적으로 업데이트되는 재가중 $\ell^1$ 정규화로 대체함으로써 수렴 속도를 향상시키고, 훈련 시간을 150 에포크에서 85 에포크로 단축시켰으며, ResNet-18에서 4.2× 구조적 프루닝을 달성했고, 상위 5개 정확도는 88.5%를 기록하여 최신 ADMM 방법을 능가한다.

ABSTRACT

To address the large model size and intensive computation requirement of deep neural networks (DNNs), weight pruning techniques have been proposed and generally fall into two categories, i.e., static regularization-based pruning and dynamic regularization-based pruning. However, the former method currently suffers either complex workloads or accuracy degradation, while the latter one takes a long time to tune the parameters to achieve the desired pruning rate without accuracy loss. In this paper, we propose a unified DNN weight pruning framework with dynamically updated regularization terms bounded by the designated constraint, which can generate both non-structured sparsity and different kinds of structured sparsity. We also extend our method to an integrated framework for the combination of different DNN compression tasks.

연구 동기 및 목표

• 정적 및 동적 정규화 기반 DNN 프루닝의 한계, 즉 정확도 저하와 긴 수렴 시간을 해결하기 위해.
• 최소한의 초파rameter 민감도로 비구조적 및 구조적 희소성 생성을 하나의 최적화 프레임워크에서 통합하기 위해.
• 비볼록인 $\varepsilon$-노름 제약 조건을 재가중 $\ell^1$ 정규화로 대체함으로써 수렴 속도를 향상시키고 훈련 시간을 단축하기 위해.
• 동적 정규화를 통해 각 레이어의 프루닝 비율을 자동으로 결정함으로써 수동 조정을 제거하기 위해.
• 프루닝과 양자화를 결합한 통합 압축 작업으로 프레임워크를 확장하기 위해.

제안 방법

• 비가역적인 $\varepsilon$-노름 희소성 제약 조건의 대체로 재가중 $\ell^1$ 정규화를 사용하여 효율적인 최적화를 가능하게 한다.
• 현재 가중치 크기에 기반해 재가중 계수를 동적으로 업데이트하여 중요도가 낮은 가중치를 점진적으로 식별하고 프루닝한다.
• 임계값 이하의 가중치는 기울기 업데이트에서 마스킹되고 영구적으로 제거되며, 나머지 가중치는 정밀 조정을 통해 정확도를 복구한다.
• 그룹 라소와 재가중 정규화를 통해 비구조적 희소성과 다양한 구조적 희소성 패턴을 모두 지원하는 프레임워크이다.
• 다중 작업 압축을 위해, 한 작업(예: 패턴 프루닝)에는 ADMM 기반의 하드 제약 조건을, 다른 작업(예: 가중치 양자화)에는 재가중 정규화를 적용한다.
• 이 방법은 $\varepsilon$-노름 제약 조건의 강한 비볼록성 회피로 인해 ADMM보다 더 빠른 수렴 속도와 더 적은 초파rameter를 제공한다.

실험 결과

연구 질문

• RQ1 재가중 $\ell^1$ 정규화가 프루닝 비율과 수렴 속도 측면에서 ADMM 기반의 하드 제약 조건을 능가할 수 있는가?
• RQ2 통합 프레임워크는 최소한의 초파rameter 조정으로 비구조적 및 구조적 희소성을 모두 생성할 수 있는가?
• RQ3 ADMM를 하나의 작업에, 재가중 정규화를 다른 작업에 적용한 다중 작업 압축에서, 두 작업 모두 ADMM를 사용하는 경우보다 더 높은 총 압축 비율을 달성할 수 있는가?
• RQ4 이 방법은 수동 설정 없이 각 레이어의 프루닝 비율을 자동으로 결정할 수 있는가?
• RQ5 이 방법은 크기 기반 및 $\ell^1$ 기반 프루닝과 비교해 정확도와 압축 효율성 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 ImageNet에서 ResNet-18에 대해 4.2× 구조적 프루닝을 달성했고, 상위 5개 정확도는 88.5%를 기록하여 최신 ADMM 방법(3.0×, 87.9% 정확도)을 능가한다.
• 훈련 시간은 ADMM의 150 에포크에서 단일 페널티 파rameter를 사용해 85 에포크로 단축되었으며, 각 레이어의 초파rameter 조정이 제거되었다.
• MNIST의 LeNet-5에서 이 방법은 0.2% 정확도 손실로 1014× 총 압축 비율을 달성했고, ADMM-NN의 623× 비율을 초월했다.
• ImageNet의 AlexNet에서 이 방법은 0.2% 정확도 손실로 115× 총 압축 비율을 달성했으며, ADMM-NN의 99× 비율을 뛰어넘었다.
• VGG-16에서 패턴 및 코어 기반 프루닝을 병합한 경우, CIFAR-10에서는 34.9× 프루닝 비율(POCONV 대비 1.76배 높음)을, ImageNet에서는 13.1× 프루닝 비율(POCONV 대비 1.87배 높음)을 달성했다.
• 재가중 정규화 프레임워크는 각 레이어의 자동 프루닝 비율 결정을 가능하게 하고, 히우리스틱 초파라미터 선택에 대한 의존도를 감소시킨다.