[논문 리뷰] Hessian-Aware Pruning and Optimal Neural Implant

Shixing Yu, Zhewei Yao외 5명|arXiv (Cornell University)|2021. 01. 22.

Advanced Neural Network Applications참고 문헌 72인용 수 5

한 줄 요약

이 논문은 헤시안 추적을 사용하여 민감도가 낮은 신경망 구성 요소를 식별하고 제거하고, 중간 정도로 민감한 구성 요소는 정확도를 유지하기 위해 저차원 신경 임플란트로 대체하는 이차 구조적 프루닝 방법인 헤시안-aware 프루닝(HAP)을 제안한다. HAP는 최소한의 정확도 손실로 최신 기준 성능을 달성하며, PreResNet29(CIFAR-10)에서 70%의 파라미터 프루닝 시 0.1% 미만의 정확도 저하를 기록하고, ResNet50(ImageNet)에서 50% 파라미터 감소 시 HRank보다 최대 2% 높은 정확도를 확보한다.

ABSTRACT

Pruning is an effective method to reduce the memory footprint and FLOPs associated with neural network models. However, existing structured-pruning methods often result in significant accuracy degradation for moderate pruning levels. To address this problem, we introduce a new Hessian Aware Pruning (HAP) method coupled with a Neural Implant approach that uses second-order sensitivity as a metric for structured pruning. The basic idea is to prune insensitive components and to use a Neural Implant for moderately sensitive components, instead of completely pruning them. For the latter approach, the moderately sensitive components are replaced with with a low rank implant that is smaller and less computationally expensive than the original component. We use the relative Hessian trace to measure sensitivity, as opposed to the magnitude based sensitivity metric commonly used in the literature. We test HAP for both computer vision tasks and natural language tasks, and we achieve new state-of-the-art results. Specifically, HAP achieves less than $0.1\%$/$0.5\%$ degradation on PreResNet29/ResNet50 (CIFAR-10/ImageNet) with more than 70\%/50\% of parameters pruned. Meanwhile, HAP also achieves significantly better performance (up to 0.8\% with 60\% of parameters pruned) as compared to gradient based method for head pruning on transformer-based models. The framework has been open sourced and available online.

연구 동기 및 목표

• 중간에서 높은 프루닝 비율에서 흔히 발생하는 정확도 저하 문제를 해결한다.
• 불감도가 낮은 신경망 구성 요소를 식별하기 위해 빠르고 확장 가능한 이차 민감도 측정 기준을 개발한다.
• 중간 정도로 민감한 구성 요소를 완전히 제거하는 대신 저차원 신경 임플란트로 대체하는 메커니즘을 도입한다.
• 파라미터 수와 FLOPs를 줄이며 시각 및 NLP 작업에서 높은 정확도를 유지함으로써 모델 효율성을 향상시킨다.
• 광범위한 실험적 평가를 통해 기존의 크기 기반 및 기울기 기반 프루닝 방법보다 뛰어난 성능을 입증한다.

제안 방법

• 손실 곡면의 평탄함에 미치는 영향을 기반으로 채널의 민감도를 순위 매기기 위해 헤시안 추적을 이차 민감도 측정 기준으로 사용한다.
• 헤시안 추적 민감도가 가장 낮은 채널을 기준으로 전체 채널을 제거함으로써 구조적 프루닝을 적용하여 개별 파라미터 분석이 아닌 그룹 기반 프루닝을 가능하게 한다.
• 중간 정도로 민감한 구성 요소는 원래 레이어보다 계산 비용이 낮고 크기가 작은 저차원 신경 임플란트로 대체한다.
• 헤시안 추적을 기반으로 임플란트 적용 위치를 안내하면서, 프루닝된 모델을 피지컬 튜닝하여 정확도를 복구하고 향상시킨다.
• 헤시안 기반 민감도 분석과 저차원 근사화를 조합하여 민감한 레이어에만 임플란트를 선택적으로 적용함으로써 효율성과 성능을 향상시킨다.
• HAP와 크기 기반 기준 모델 간의 공정한 비교를 위해 FLOPs를 동일하게 맞추어 파라미터 효율성에 대한 직접적인 성능 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 헤시안 추적을 통한 이차 민감도 측정이 구조적 신경망 프루닝에서 크기 기반 측정 기준보다 뛰어나게 작용할 수 있는가?
• RQ2 중간 정도로 민감한 구성 요소를 저차원 신경 임플란트로 대체하면 고비율 프루닝 시 정확도 저하를 완화할 수 있는가?
• RQ3 HAP는 EigenDamage 및 HRank와 같은 최신 기준 프루닝 방법과 비교해 정확도, 파라미터 수, FLOPs 측면에서 어떻게 성능을 냈는가?
• RQ4 전체 모델에 일반적인 저차원 근사화를 적용하는 것보다 헤시안 인식 임플란트 배치가 얼마나 더 성능 향상에 기여하는가?
• RQ5 HAP는 다양한 아키텍처, 특히 시각 모델(예: ResNet)과 NLP 모델(예: RoBERTa)에서 높은 정확도를 유지할 수 있는가?

주요 결과

• PreResNet29(CIFAR-10)에서 HAP는 원래 파라미터의 31%만 유지하면서도 94.3%의 정확도를 달성하여, 정확도 저하가 0.1% 미만이다.
• ResNet50(ImageNet)에서 HAP는 파라미터의 약 50%를 프루닝한 후에도 상위-1 정확도 75.1%를 확보하며, 정확도 저하가 0.5%에 불과하다.
• 기존 최신 기준인 HRank 방법과 비교해 HAP는 더 적은 파라미터와 FLOPs를 사용하면서도 ResNet50에서 최대 2% 높은 정확도를 기록한다.
• MRPC 및 QNLI 데이터셋에서 RoBERTa의 헤드 프루닝 시, HAP는 기울기 기반 기준보다 60% 헤드 프루닝에서도 최대 0.89% 높은 정확도를 확보한다.
• FLOPs 수준이 동일한 조건에서 HAP는 크기 기반 프루닝보다 유사한 정확도(92.06%)를 달성하면서도 파라미터의 21.01%만 유지하는 반면, 크기 기반 방법은 38.25%를 유지한다.
• 절단 실험 결과, 헤시안 기반 민감도 순서가 무작위 또는 반전 순서보다 유의미하게 효과적이며, HAP는 35.5%의 파라미터가 남아 있을 때 R-HAP보다 3% 이상 높은 정확도를 확보한다.