[논문 리뷰] Accelerating CNN Training by Pruning Activation Gradients

Xucheng Ye, Pengcheng Dai외 5명|arXiv (Cornell University)|2019. 08. 01.

Advanced Neural Network Applications참고 문헌 33인용 수 8

한 줄 요약

이 논문은 역전파 중 활성화 그래디언트를 희박하게 제거함으로써 CNN 학습을 가속화하는 동적 그래디언트 프루닝 방법을 제안한다. 그래디언트를 정규분포로 모델링하고 분산 기반 임계값 이하의 경우에 확률적 프루닝을 적용함으로써, CIFAR-10/100 및 ImageNet에서 ResNet과 AlexNet에 대해 근소한 정확도 손실로 ARM CPU에서 최대 5.92배의 가속도를 달성한다.

ABSTRACT

Sparsification is an efficient approach to accelerate CNN inference, but it is challenging to take advantage of sparsity in training procedure because the involved gradients are dynamically changed. Actually, an important observation shows that most of the activation gradients in back-propagation are very close to zero and only have a tiny impact on weight-updating. Hence, we consider pruning these very small gradients randomly to accelerate CNN training according to the statistical distribution of activation gradients. Meanwhile, we theoretically analyze the impact of pruning algorithm on the convergence. The proposed approach is evaluated on AlexNet and ResNet-\{18, 34, 50, 101, 152\} with CIFAR-\{10, 100\} and ImageNet datasets. Experimental results show that our training approach could substantially achieve up to $5.92 imes$ speedups at back-propagation stage with negligible accuracy loss.

연구 동기 및 목표

• 역전파 중 활성화 그래디언트의 희박성을 활용하여 딥 CNN의 학습 시간을 단축시키기 위해.
• 학습 중 동적으로 변화하는 그래디언트 업데이트로 인해 희박성 활용이 저해되는 문제를 해결하기 위해.
• CPU 및 엣지 디바이스와 같은 자원이 제한된 플랫폼에서 효율적인 학습을 가능하게 하기 위해.
• 역전파의 가속도를 크게 높이면서도 모델 수렴성과 정확도를 유지하기 위해.

제안 방법

• 활성화 그래디언트가 정규분포를 따른다고 가정하고, 평균 절대값을 통해 분산을 추정한다.
• 사용자 정의된 희박성 비율 p와 분산 기반으로 프루닝 임계값 τ를 유도한다.
• 확률적 프루닝을 적용: τ 이하의 그래디언트를 무작위로 0 또는 ±τ로 설정하여 그래디언트 흐름을 유지한다.
• Conv-ReLU 및 Conv-BN-ReLU 네트워크 아키텍처 모두 지원하며, ResNet과 AlexNet 포함.
• 통계적 분석을 통해 프루닝 하에서도 수렴 안정성이 보장됨을 정당화한다.
• 평가를 위해 BLAS 최적화 커널을 사용하여 Intel 및 ARM CPU에 이 방법을 구현한다.

실험 결과

연구 질문

• RQ1 역전파 중 CNN의 활성화 그래디언트를 모델 수렴성과 정확도에 해를 끼치지 않고 효과적으로 프루닝할 수 있는가?
• RQ2 동적으로 변화하는 그래디언트를 프루닝하기 위한 데이터 기반, 통계적으로 타당한 임계값을 어떻게 유도할 수 있는가?
• RQ3 작은 그래디언트에 대한 확률적 프루닝이 ResNet 및 AlexNet과 같은 깊은 네트워크에서 최적화 궤적을 유지하는가?
• RQ4 ARM 기반 엣지 디바이스와 같은 저전력 플랫폼에서 달성 가능한 가속도는 얼마인가?
• RQ5 대규모 데이터셋에서 이전 연구 대비 희박성, 정확도 및 가속도 측면에서 제안된 방법은 어떻게 비교되는가?

주요 결과

• 제안된 방법은 AlexNet 학습에서 ARM CPU에서 근소한 정확도 손실로 최대 5.92배의 가속도를 달성한다.
• Intel CPU에서는 ResNet 및 AlexNet 모델에서 1.71배에서 3.99배의 가속도를 제공한다.
• 학습 손실 곡선에 미치는 영향이 극히 미미하여 수렴 안정성이 유지됨을 확인했다. CIFAR-10 및 ImageNet 데이터셋 전반에 걸쳐.
• ResNet-18에서 99% 프루닝 시 희박성 수준이 70–90%에 달하며 (ρnnz ≈ 0.16), MSBP보다 희박성과 정확도 모두에서 뛰어난 성능을 보였다.
• Conv-ReLU 및 Conv-BN-ReLU 블록을 포함한 다양한 네트워크 아키텍처에 대해 강건한 성능을 보였다.
• 싱글스레드 및 멀티스레드 실행 모두에서 일관된 가속도를 보였으며, 네 스레드 ARM 실행에서 1.79배에서 2.78배의 가속도를 달성했다.