[논문 리뷰] Hybrid Pruning: Thinner Sparse Networks for Fast Inference on Edge Devices

Xiaofan Xu, Mi Sun Park외 1명|arXiv (Cornell University)|2018. 11. 01.

Advanced Neural Network Applications참고 문헌 11인용 수 28

한 줄 요약

이 논문은 엣지 디바이스에서 효율적인 추론을 위해 더 얇고 흐린 신경망을 생성하기 위해 굵은 그레인 채널 프루닝과 미세 그레인 무게 프루닝을 결합한 하이브리드 프루닝을 제안한다. 정확도 허용 오차와 하드웨어 제약 조건(예: 8의 배수인 채널 수)을 바탕으로 층별 프루닝 임계값을 결정하기 위해 빠른 민감도 테스트를 도입함으로써, 최신 기술 수준의 성능을 달성한다. ImageNet에서 ResNet50의 파라미터를 72.9% 감소시켰고, 상위 1위 정확도가 0.88% 감소하는 데 그쳤으며, ResNet56에서는 최소한의 정확도 손실로 4.5배의 속도 향상을 이룬다.

ABSTRACT

We introduce hybrid pruning which combines both coarse-grained channel and fine-grained weight pruning to reduce model size, computation and power demands with no to little loss in accuracy for enabling modern networks deployment on resource-constrained devices, such as always-on security cameras and drones. Additionally, to effectively perform channel pruning, we propose a fast sensitivity test that helps us quickly identify the sensitivity of within and across layers of a network to the output accuracy for target multiplier accumulators (MACs) or accuracy tolerance. Our experiment shows significantly better results on ResNet50 on ImageNet compared to existing work, even with an additional constraint of channels be hardware-friendly number.

연구 동기 및 목표

• 드론이나 항상 케이블링된 카메라와 같은 자원 제약이 있는 엣지 디바이스에 큰 정확도의 딥 뉴럴 네트워크(DNN)를 구현하는 데 도전하는 것.
• 모든 층에 동일한 프루닝을 적용하는 기존 프루닝 방법의 한계를 극복하여, 다양한 층의 민감도 차이로 인한 정확도 급격한 감소를 방지하는 것.
• 추가 학습이 필요 없이 사용자 정의 정확도 허용 오차 또는 목표 MACS를 기반으로 층별 프루닝 한계를 식별할 수 있는 빠르고 가벼운 민감도 테스트를 개발하는 것.
• 채널 수를 8 또는 4의 배수로 강제하여 하드웨어 우수한 흐림을 보장함으로써 엣지 가속기와의 호환성을 높이는 것.
• 다양한 그레인의 흐림(채널 및 무게 프루닝)을 결합함으로써 모델 크기와 계산량을 크게 줄일 수 있으며, 정확도 손실 최소화를 확인하는 것.

제안 방법

• 각 층의 프루닝 내성 정도를 점검하기 위해 절대 무게 합을 기반으로 출력 채널을 반복적으로 마스킹하는 빠른 민감도 테스트를 제안하며, 정확도가 기준 이하로 떨어지면(예: 원래 정확도보다 3~5% 이하로 떨어지면) 중단한다.
• 민감도 테스트를 통해 정확도 허용 오차 내에서 유지되는 층별 프루닝 비율을 계산한 후, 하드웨어 우수한 채널 수(예: 8의 배수)로 반올림한다.
• 통계 기반의 무게 프루닝을 프루닝된 얇은 모델에 적용하며, 평균과 표준편차를 기반으로 층별 임계값을 계산하고, 전역 흐림 제어 요소 σ를 사용한다.
• 학습 중에 이진 마스크를 동적으로 업데이트하여 순전파에서 무게를 흐리게 하되, 역전파 시에는 정밀도를 유지한 채로 기울기를 유지한다.
• 두 단계의 파이프라인을 통해 채널 프루닝과 무게 프루닝을 통합한다: 먼저 민감도 테스트를 통한 채널 프루닝, 그 다음에 결과 흐린 모델에 대해 무게 프루닝을 적용한다.
• 모든 딥 러닝 프레임워크를 지원하며, 메타학습이나 새로운 모델에 대한 추가 학습이 필요 없어 광범위하게 배포 가능하다.

실험 결과

연구 질문

• RQ1 굵은 그레인 채널 프루닝과 미세 그레인 무게 프루닝을 결합하면 엣지 디바이스에서 모델 크기와 계산량을 크게 줄일 수 있으며, 정확도 손실 최소화가 가능한가?
• RQ2 지나친 재학습이나 하드웨어 특화 튜닝 없이도 층별 프루닝 민감도를 효율적으로 측정할 수 있는가?
• RQ3 하드웨어 우수한 채널 수(예: 8의 배수)를 강제할 경우, 모델 압축과 정확도 유지 간 최적의 균형은 무엇인가?
• RQ4 동시에 채널과 무게의 흐림을 적용하는 다중 그레인 흐림이 단일 그레인 프루닝보다 압축 및 추론 속도 측면에서 더 우수한가?
• RQ5 빠르고 반복하지 않는 민감도 테스트가 정확도 허용 오차를 기준으로 각 층의 최대 안전 프루닝 비율을 신뢰성 있게 예측할 수 있는가?

주요 결과

• ImageNet에서 ResNet50를 대상으로 하이브리드 프루닝을 적용했을 때, 파라미터를 72.9% 감소시켰다(2550만에서 690만으로). 상위 1위 정확도는 0.88% 감소(76.01%에서 74.32%로)하였다.
• MACS는 2배 감소했고, 파라미터는 3.7배 감소하여, 기존의 ThiNet, NISP, SPP와 비교해도 성능이 뛰어나 압축 및 정확도 측면에서 모두 슈퍼리어하다.
• CIFAR-10에서 ResNet56에 대해 채널 프루닝만으로 59%의 흐림을 달성했고(2.4배 속도 향상), 하이브리드 프루닝을 통해 78%의 흐림을 달성했으며(4.5배 파라미터 감소), 상위 1위 정확도 손실은 1% 미만이었다.
• 민감도 테스트는 CPU에서 8.86분, GPU에서는 3.38초 내로 실행되어 추가 학습 없이도 신속한 모델 분석에 실용적이다.
• 출력 채널 수가 증가한 층들(예: 전이 층 또는 잔여 블록)이 프루닝에 더 민감한 것으로 밝혀져, 층 인식 프루닝 전략의 필요성을 확인했다.
• 하이브리드 프루닝 방법은 하드웨어 우수한 채널 수를 고려한 얇은 ResNet50에서 최신 기술 수준의 성능을 달성했으며, 다중 그레인 흐림의 효과를 입증했다.