[논문 리뷰] Designing Energy-Efficient Convolutional Neural Networks using Energy-Aware Pruning

Tien-Ju Yang, Yu‐Hsin Chen외 1명|arXiv (Cornell University)|2016. 11. 16.

Advanced Neural Network Applications참고 문헌 15인용 수 31

한 줄 요약

이 논문은 하드웨어 측정 파ameters를 사용하여 에너지 소비를 직접 최적화하는 에너지 인지형 프루닝 알고리즘을 제안한다. 출력 특징 맵 오차를 기반으로 필터를 계층적으로 프루닝하고, 폐쇄형 최소 제곱법을 사용한 피취닝을 통해 에너지 소비를 AlexNet 기준 3.7배, GoogLeNet 기준 1.6배 감소시켰으며, 상위 5개 정확도 손실은 1% 미만이다.

ABSTRACT

Deep convolutional neural networks (CNNs) are indispensable to state-of-the-art computer vision algorithms. However, they are still rarely deployed on battery-powered mobile devices, such as smartphones and wearable gadgets, where vision algorithms can enable many revolutionary real-world applications. The key limiting factor is the high energy consumption of CNN processing due to its high computational complexity. While there are many previous efforts that try to reduce the CNN model size or amount of computation, we find that they do not necessarily result in lower energy consumption, and therefore do not serve as a good metric for energy cost estimation. To close the gap between CNN design and energy consumption optimization, we propose an energy-aware pruning algorithm for CNNs that directly uses energy consumption estimation of a CNN to guide the pruning process. The energy estimation methodology uses parameters extrapolated from actual hardware measurements that target realistic battery-powered system setups. The proposed layer-by-layer pruning algorithm also prunes more aggressively than previously proposed pruning methods by minimizing the error in output feature maps instead of filter weights. For each layer, the weights are first pruned and then locally fine-tuned with a closed-form least-square solution to quickly restore the accuracy. After all layers are pruned, the entire network is further globally fine-tuned using back-propagation. With the proposed pruning method, the energy consumption of AlexNet and GoogLeNet are reduced by 3.7x and 1.6x, respectively, with less than 1% top-5 accuracy loss. Finally, we show that pruning the AlexNet with a reduced number of target classes can greatly decrease the number of weights but the energy reduction is limited. Energy modeling tool and energy-aware pruned models available at this http URL

연구 동기 및 목표

• 배터리 구동 장치에 구현된 컨volutional 신경망(CNNs)에서 모델 압축과 실제 에너지 효율성 간 격차를 해소하기 위해.
• 모델 크기나 FLOPs가 아닌 에너지 소비를 직접 최적화하는 프루닝 방법을 개발하기 위해.
• 정확도를 유지하면서 에너지 소비를 최소화하여 모바일 및 웨어러블 장치에 CNN을 효율적으로 구현하기 위해.
• 모바일 시스템에서 CNN 추론을 위한 실용적이고 하드웨어 기반의 에너지 추정 모델을 구축하기 위해.

제안 방법

• 각 레이어의 에너지 소비를 하드웨어 측정 파ameters를 사용해 추정하여 직접 에너지 인지형 최적화를 가능하게 한다.
• 필터 가중치 크기 대신 출력 특징 맵 오차를 기반으로 계층별로 프루닝을 수행한다.
• 프루닝 후 각 레이어는 폐쇄형 최소 제곱법 해를 사용해 빠르게 정확도를 복구한다.
• 전체 네트워크는 다시 백프로파게이션을 통해 글로벌하게 피취닝되어 성능을 추가로 향상시킨다.
• 모델 크기 감소보다 에너지 절감을 우선시하며, 실제 모바일 하드웨어에서 유도된 고유의 에너지 추정 모델을 사용한다.

실험 결과

연구 질문

• RQ1 실제 에너지 소비 추정을 기반으로 한 프루닝이 모바일 장치에서 더 효율적인 CNN 배포를 이끌 수 있는가?
• RQ2 프루닝 중 출력 특징 맵 오차를 최소화하는 것이 기존의 크기 기반 프루닝보다 더 높은 에너지 효율성을 제공하는가?
• RQ3 폐쇄형 피취닝과 함께 계층별 프루닝을 조합할 경우 정확도 유지와 함께 에너지 절감에 얼마나 효과적인가?
• RQ4 목표 클래스 수를 줄이면 프루닝된 모델에서 에너지 절감에 얼마나 기여하는가?

주요 결과

• 제안된 방법을 사용해 AlexNet의 에너지 소비는 3.7배 감소했고, 상위 5개 정확도 손실은 1% 미만이었다.
• GoogLeNet은 고정밀도를 유지하면서 에너지 소비가 1.6배 감소했다.
• 에너지 인지형 프루닝 접근법은 모델 크기를 최소화하지 않더라도 기존 프루닝보다 에너지 효율성이 뛰어나다는 점을 입증했다.
• 목표 클래스 수를 줄인 프루닝은 무게 수를 크게 감소시켰지만, 에너지 절감은 제한적이었으며, 이는 클래스 수만으로는 에너지 효율성이 결정되지 않음을 시사한다.
• 폐쇄형 피취닝 단계는 프루닝 후 정확도 복구를 신속하게 가능하게 하여 광범위한 훈련이 필요 없게 했다.