[논문 리뷰] Single Shot Structured Pruning Before Training

Joost van Amersfoort, Milad Alizadeh외 3명|arXiv (Cornell University)|2020. 07. 01.

Machine Learning and Data Classification참고 문헌 28인용 수 15

한 줄 요약

이 논문은 훈련 이전에 적용되는 단일 스풍경 구조적 프루닝 방법인 3SP을 제안한다. 이 방법은 전체 채널과 히든 유닛을 제거하여 훈련(GPU 기준 2배 빠름)과 추론(_CPU 기준 3배 빠름)을 가속화하며, CIFAR-10에서 정확도 손실이 0.5%에 불과하다. 계산량 인지 스코어링 메커니즘을 사용하여 고비용, 저영향도 파라미터를 우선적으로 제거하며, 단일 배치에 대해 한 번의 포워드-백워드 패스만 필요로 한다.

ABSTRACT

We introduce a method to speed up training by 2x and inference by 3x in deep neural networks using structured pruning applied before training. Unlike previous works on pruning before training which prune individual weights, our work develops a methodology to remove entire channels and hidden units with the explicit aim of speeding up training and inference. We introduce a compute-aware scoring mechanism which enables pruning in units of sensitivity per FLOP removed, allowing even greater speed ups. Our method is fast, easy to implement, and needs just one forward/backward pass on a single batch of data to complete pruning before training begins.

연구 동기 및 목표

• 딥 네URAL 네트워크 훈련의 높은 계산 비용과 탄소 배출량 문제를 해결하기 위해 훈련을 시작하기 전에 프루닝을 가능하게 하기 위해.
• 개별 가중치가 아닌 전체 채널과 히든 유닛을 제거하는 구조적 프루닝 방법을 개발하여 표준 하드웨어에서의 가속을 가능하게 하기 위해.
• 고-FLOP, 저영향도 구성 요소를 우선적으로 제거하는 계산량 인지 스코어링 메커니즘을 도입하여 효율성을 높이기 위해.
• 구조적 프루닝이 훈련 이전에 적용 가능한지와 효과적인지 입증하여, 정확도 손실 없이 훈련 시간과 에너지 소비를 줄이기 위해.
• 활성 학습과 같은 동적 학습 환경에서 신속한 모델 적응을 가능하게 하기 위해, 빠른 재훈련이 필수적인 상황에서의 응용을 위해.

제안 방법

• 손실 함수의 마스크 파라미터에 대한 기울기 기반으로 채널 또는 히든 유닛별 스코어를 계산함으로써 SNIP 목적함수를 구조적 프루닝으로 확장한다.
• 손실 변화의 일阶 근사치를 사용하여 전체 채널 또는 유닛 제거의 영향을 추정함으로써, 효율적인 단일 패assing 프루닝을 가능하게 한다.
• 계산량 인지 가중치를 도입하여 각 파라미터의 FLOPs에 따라 프루닝 스코어를 조정함으로써, 고비용, 저영향도 구성 요소의 제거를 우선시한다.
• 최종 마스크는 스코어를 정렬하고 목표 희박성 비율에 따라 가장 낮은 스코어를 가진 채널/유닛을 제거함으로써 결정된다.
• 전체 프루닝 과정은 단일 미니배치에 대해 한 번의 포워드 및 백워드 패스만으로 완료되어 매우 효율적이다.
• 이 방법은 어떤 훈련도 수행하지 않은 상태에서 적용되므로, 전체 계산 부담을 줄인 채로 프루닝된 네트워크를 다시 훈련할 수 있다.

실험 결과

연구 질문

• RQ1 구조적 프루닝이 훈련 이전에 효과적으로 적용되어 표준 하드웨어에서 훈련과 추론을 가속화할 수 있는가?
• RQ2 표준 크기 기반 또는 비구조적 프루닝 접근 방식에 비해 계산량 인지 스코어링이 프루닝 효율성을 어떻게 향상시키는가?
• RQ3 단일 배치에 대해 한 번의 포워드-백워드 패스로 효과적인 사전 훈련 프루닝을 수행할 수 있으며, 정확도 손실이 최소한인가?
• RQ4 SNIP 및 GraSP와 같은 비구조적 프루닝 방법과 비교했을 때, 구조적 프루닝 접근 방식은 성능 및 효율성 측면에서 어떻게 다른가?
• RQ5 훈련 이전의 구조적 프루닝이 활성 학습 환경에서 빠른 모델 적응을 가능하게 하는가?

주요 결과

• 제안된 3SP 방법은 GPU 기준 훈련 속도를 2배로 빠르게 하고, CPU 기준 추론 속도를 3배로 빠르게 하며, CIFAR-10에서 정확도 손실이 0.5%에 불과하다.
• 계산량 인지 스코어링을 통합함으로써 FLOP 감소율을 60%에서 85%로 높여 효율성을 크게 향상시켰다.
• 단일 배치에 대해 한 번의 포워드 및 백워드 패스만으로 프로세스를 완료하여 매우 효율적이고 실용적인 실세계 적용 가능성을 확보했다.
• 실험 분석 결과, SNIP 기반 스코어는 구조적 환경에서도 효과적으로 기능하는 반면, GraSP의 근사치는 이 환경에서는 성능이 열 劣하다.
• 활성 학습 환경에서는 3SP가 더 빠른 데이터 수집과 모델 재훈련을 가능하게 하여, 정확도 손실 없이 고정된 시간 예산 내에서 더 높은 정확도를 달성했다.
• 완전한 모델을 낭비 없이 훈련시키지 않음으로써 에너지 소비와 탄소 배출량을 줄였으며, 특히 자원 제약이 있는 환경에서 유의미한 이점을 제공한다.