[논문 리뷰] BLK-REW: A Unified Block-based DNN Pruning Framework using Reweighted Regularization Method

Xiaolong Ma, Zhengang Li외 9명|arXiv (Cornell University)|2020. 01. 23.

Advanced Neural Network Applications참고 문헌 25인용 수 11

한 줄 요약

이 논문은 블록 기반 구조적 프루닝을 가능하게 하는 재가중 그룹 라소 정규화를 사용하는 통합 블록 기반 DNN 프루닝 프레임워크인 BLK-REW를 제안한다. 이는 CNN과 RNN 모두에서 구조적 프루닝을 가능하게 하며, 민감도 높은 블록 단위의 구조적 희박성과 효율적인 재가중 메커니즘을 도입하여 높은 압축률을 달성하면서 정확도 손실를 최소화하고, 통합 컴파일러 최적화를 통해 모바일 디바이스에서 실시간 추론을 가능하게 한다.

ABSTRACT

Accelerating DNN execution on various resource-limited computing platforms has been a long-standing problem. Prior works utilize l1-based group lasso or dynamic regularization such as ADMM to perform structured pruning on DNN models to leverage the parallel computing architectures. However, both of the pruning dimensions and pruning methods lack universality, which leads to degraded performance and limited applicability. To solve the problem, we propose a new block-based pruning framework that comprises a general and flexible structured pruning dimension as well as a powerful and efficient reweighted regularization method. Our framework is universal, which can be applied to both CNNs and RNNs, implying complete support for the two major kinds of computation-intensive layers (i.e., CONV and FC layers). To complete all aspects of the pruning-for-acceleration task, we also integrate compiler-based code optimization into our framework that can perform DNN inference in a real-time manner. To the best of our knowledge, it is the first time that the weight pruning framework achieves universal coverage for both CNNs and RNNs with real-time mobile acceleration and no accuracy compromise.

연구 동기 및 목표

• 특정 네트워크 유형(예: CNN)에 국한된 기존의 구조적 프루닝 방법의 보편성 부족 문제를 해결하기 위해.
• ADMM 기반 프루닝의 최적해 품질이 열 劣화되고 수렴 시간이 길어지는 문제, 특히 RNN의 완전연결층에서의 문제를 해결하기 위해.
• 정확도 저하 없이 CNN과 RNN 모두를 지원하는 유연한 프루닝 차원을 개발하기 위해.
• 컴파일러 기반 코드 최적화를 통합하여 자원 제한된 모바일 플랫폼에서 실시간 추론을 가능하게 하기 위해.
• 동적이고 효율적인 정규화 방법을 사용하여 높은 모델 압축률을 달성하면서 정확도 손실를 최소화하기 위해.

제안 방법

• 변동 크기의 블록으로 DNN 레이어를 분할하고, 각 블록 별로 독립적으로 구조적 프루닝을 적용함으로써 설계의 유연성을 높이는 블록 기반 구조적 프루닝(BLK 프루닝)을 도입한다.
• 가중치 크기에 기반해 정규화 강도를 동적으로 조정하는 재가중 그룹 라소 정규화 방법을 적용하여 더 정밀하고 효과적인 희박성 유도를 가능하게 한다.
• 반복적으로 정규화 페널티를 업데이트하는 재가중 전략을 사용하여 비중이 낮은 가중치에 집중함으로써 수렴 속도와 프루닝 품질을 향상시킨다.
• 컴파일러 기반 코드 생성 및 최적화(예: Winograd, TFLite, TVM)를 통합하여 모바일 CPU 및 GPU에서의 추론 속도를 가속화한다.
• 모든 레이어 유형(예: 컨볼루션 및 완전연결층)을 지원하는 VGG-16, ResNet-18 등의 CNN과 GRU 기반 TIMIT 데이터셋의 RNN에 대해 프레임워크를 종단 간(end-to-end)으로 적용한다.
• 블록 단위의 희박성 제약과 재가중 정규화를 결합한 통합 학습 파이프라인을 활용하여 압축률과 정확도를 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 통합 프루닝 프레임워크가 CNN과 RNN 모두에서 높은 압축률과 실시간 추론을 달성할 수 있는가?
• RQ2 재가중 정규화가 기존의 l1-그룹 라소와 ADMM에 비해 프루닝 품질과 수렴 속도에서 뛰어나지 않는가?
• RQ3 블록 기반 구조적 희박성이 높은 정확도를 유지하면서도 하드웨어 호환성과 효율적인 추론을 가능하게 하는가?
• RQ4 컴파일러 수준 최적화 통합이 프루닝된 모델의 추론 지연 시간에 어떤 영향을 미치는가?
• RQ5 이 프레임워크가 정확도를 훼손하지 않고 최신 기술 수준의 압축률을 달성할 수 있는가?

주요 결과

• VGG-16에서 BLK-REW는 28.5× 압축률을 달성했으며, 상위 1위 정확도는 94.0%를 기록하여 비구조적 프루닝 수준의 정확도를 유지하거나 초월했고, 하드웨어 호환성도 유지했다.
• ResNet-18에서는 7.6× 압축률을 달성했으며, 상위 1위 정확도는 69.0%로 원본 모델 성능의 98.5%를 유지했다.
• MobileNet-V2에서는 10.3× 압축률을 달성했고, 상위 1위 정확도는 94.5%로 효율적인 아키텍처 전반에 걸쳐 강력한 일반화 성능을 입증했다.
• GRU 기반 음성 인식에서, 프레임워크는 231.3× 압축률을 달성했고, 테스트 오차율은 18.8%였으며, 모바일 GPU에서 0.21ms의 지연 시간으로 실시간 추론을 구현했다.
• 모바일 CPU/GPU에서 이미지 분류 작업의 추론 지연 시간은 33ms 이하로 유지되어 실시간 요구사항(예: 30fps 영상)을 충족했다.
• 재가중 정규화 방법은 ADMM보다 수렴 속도가 빠르며, 특히 완전연결층에서 l1-그룹 라소보다 더 우수한 희박성 패턴을 달성했다.