[논문 리뷰] ADMM-NN: An Algorithm-Hardware Co-Design Framework of DNNs Using Alternating Direction Method of Multipliers

Ao Ren, Tianyun Zhang외 6명|arXiv (Cornell University)|2018. 12. 31.

Advanced Neural Network Applications참고 문헌 54인용 수 11

한 줄 요약

ADMM-NN는 분할된 다중승수의 교대 방법(ADMM)을 사용하여 딥 네ural 네트워크(DNN) 압축을 위한 통합 알고리즘-하드웨어 공동 설계 프레임워크를 제안한다. 이는 동적 정규화를 통해 동시에 가중치 프루닝과 양자화를 수행하며, LeNet-5에서 최대 1,910배, AlexNet에서 231배의 모델 크기 감소를 달성하면서 정확도 손실 없이도 하드웨어 성능 향상을 보장한다. 이는 브레이크이븐 프루닝 비율 분석과 계산 인지 최적화를 통해 달성된다.

ABSTRACT

To facilitate efficient embedded and hardware implementations of deep neural networks (DNNs), two important categories of DNN model compression techniques: weight pruning and weight quantization are investigated. The former leverages the redundancy in the number of weights, whereas the latter leverages the redundancy in bit representation of weights. However, there lacks a systematic framework of joint weight pruning and quantization of DNNs, thereby limiting the available model compression ratio. Moreover, the computation reduction, energy efficiency improvement, and hardware performance overhead need to be accounted for besides simply model size reduction. To address these limitations, we present ADMM-NN, the first algorithm-hardware co-optimization framework of DNNs using Alternating Direction Method of Multipliers (ADMM), a powerful technique to deal with non-convex optimization problems with possibly combinatorial constraints. The first part of ADMM-NN is a systematic, joint framework of DNN weight pruning and quantization using ADMM. It can be understood as a smart regularization technique with regularization target dynamically updated in each ADMM iteration, thereby resulting in higher performance in model compression than prior work. The second part is hardware-aware DNN optimizations to facilitate hardware-level implementations. Without accuracy loss, we can achieve 85$ imes$ and 24$ imes$ pruning on LeNet-5 and AlexNet models, respectively, significantly higher than prior work. The improvement becomes more significant when focusing on computation reductions. Combining weight pruning and quantization, we achieve 1,910$ imes$ and 231$ imes$ reductions in overall model size on these two benchmarks, when focusing on data storage. Highly promising results are also observed on other representative DNNs such as VGGNet and ResNet-50.

연구 동기 및 목표

• DNN에서 가중치 프루닝과 양자화를 통합적으로 최적화할 수 있는 체계적인 프레임워크가 부족한 문제를 해결하기 위해.
• 기존 히우리스틱 및 그레디 메서드의 한계를 극복하여 압축 비율을 최대화하기 위해.
• 계산 감소, 에너지 효율성, 비정규적 희소성으로 인한 하드웨어 오버헤드를 고려하여 DNN 모델 압축과 하드웨어 성능을 공동 최적화하기 위해.
• 첫 번째 합성곱 레이어와 같은 핵심 레이어에서 성능 저하를 방지하기 위한 브레이크이븐 프루닝 비율 개념을 도입하기 위해.
• 정확도 손실 없이 고압축 비율을 달성하면서도 하드웨어 효율성과 속도 향상을 보장하기 위해.

제안 방법

• ADMM를 활용해 가중치 프루닝과 양자화를 동시에 최적화하며, 조합 제약 조건이 있는 비볼록 최적화 문제로 간주한다.
• 각 ADMM 단계에서 정규화 목표를 반복적으로 갱신하는 동적 정규화를 적용하여 더 스마트한 희소성 및 양자화 패턴을 가능하게 한다.
• 계산 및 에너지 효율성을 극대화하기 위해 합성곱 레이어의 프루닝을 완전히 연결된 레이어보다 우선시하는 하드웨어 인지 최적화 전략을 도입한다.
• 각 레이어당 브레이크이븐 프루닝 비율을 정의한다 — 즉, 하드웨어 성능 저하를 방지하기 위한 최소 프루닝 비율로, 성능 인지 프루닝 결정을 가능하게 한다.
• 비정규적 희소성으로 인한 하드웨어 성능 오버헤드를 고려한 ADMM 기반 최적화를 수행하며, 특히 프루닝된 가중치의 비정규적 희소성에 주목한다.
• ASIC 합성(SMIC 40nm)을 통해 하드웨어 속도 향상을 검증하여 FPGA 및 ASIC 플랫폼에 대응하는 결과를 확보한다.

실험 결과

연구 질문

• RQ1 기존의 히우리스틱 또는 그레디 방법보다 통합 프레임워크가 DNN 가중치 프루닝과 양자화를 더 효과적으로 공동 최적화할 수 있는가?
• RQ2 비정규적 희소성으로 인한 하드웨어 성능 오버헤드는 어떻게 모델링하고 완화할 수 있는가?
• RQ3 성능 저하 없이 최대 압축 비율을 달성하기 위해 각 레이어에서 최적의 프루닝 비율은 무엇인가?
• RQ4 ADMM 기반 최적화가 이전 연구 대비 정확도 손실 없이 더 높은 압축 비율을 달성할 수 있는가?
• RQ5 계산 및 메모리 병목 현상을 고려하더라도, 하드웨어 인지 DNN 압축이 실제로 합성 가속기에서 속도 향상을 이끌 수 있는가?

주요 결과

• ADMM-NN는 LeNet-5와 AlexNet에서 각각 1,910배, 231배의 전체 모델 크기 감소를 달성하면서 정확도 손실 없이 성능을 유지한다.
• 이 프레임워크는 LeNet-5와 AlexNet에서 각각 85배, 24배의 가중치 프루닝 비율을 달성하여 이전 연구를 크게 초월한다.
• 정확도 손실 없이도 계산량을 3.6배 감소시켜 기존 접근 방식을 능가한다.
• 하드웨어 합성 결과는 기준 모델 대비 속도 향상을 보였으며, 기준 모델은 비정규적 희소성과 열악한 프루닝 결정으로 인해 성능 저하를 겪었다.
• 첫 번째 합성곱 레이어는 프루닝 비율이 브레이크이븐 임계값 이하로 유지되어 프루닝되지 않았으며, 이는 버티브레인 역할을 하기 때문이다.
• 이 방법은 일반화 능력이 뛰어나 VGGNet과 ResNet-50에서도 강력한 성능을 보이며 다양한 DNN 아키텍처에 대한 확장성을 입증한다.