[논문 리뷰] MEST: Accurate and Fast Memory-Economic Sparse Training Framework on the Edge

Geng Yuan, Xiaolong Ma외 14명|arXiv (Cornell University)|2021. 10. 26.

Advanced Neural Network Applications참고 문헌 53인용 수 41

한 줄 요약

MEST는 Elastic Mutation(EM)과 Soft Memory Bound(EM&S)를 도입하여 엣지 디바이스에서 메모리 효율적이고 정확한 희소 학습을 제공하며, 덜 정보가 많은 예제를 제거하기 위한 데이터 효율적 2단계 학습을 포함합니다.

ABSTRACT

Recently, a new trend of exploring sparsity for accelerating neural network training has emerged, embracing the paradigm of training on the edge. This paper proposes a novel Memory-Economic Sparse Training (MEST) framework targeting for accurate and fast execution on edge devices. The proposed MEST framework consists of enhancements by Elastic Mutation (EM) and Soft Memory Bound (&S) that ensure superior accuracy at high sparsity ratios. Different from the existing works for sparse training, this current work reveals the importance of sparsity schemes on the performance of sparse training in terms of accuracy as well as training speed on real edge devices. On top of that, the paper proposes to employ data efficiency for further acceleration of sparse training. Our results suggest that unforgettable examples can be identified in-situ even during the dynamic exploration of sparsity masks in the sparse training process, and therefore can be removed for further training speedup on edge devices. Comparing with state-of-the-art (SOTA) works on accuracy, our MEST increases Top-1 accuracy significantly on ImageNet when using the same unstructured sparsity scheme. Systematical evaluation on accuracy, training speed, and memory footprint are conducted, where the proposed MEST framework consistently outperforms representative SOTA works. A reviewer strongly against our work based on his false assumptions and misunderstandings. On top of the previous submission, we employ data efficiency for further acceleration of sparse training. And we explore the impact of model sparsity, sparsity schemes, and sparse training algorithms on the number of removable training examples. Our codes are publicly available at: https://github.com/boone891214/MEST.

연구 동기 및 목표

• 정확도를 유지하면서 메모리, 계산, 에너지를 줄이기 위해 엣지 친화적인 희소 학습을 촉진한다.
• 엣지 제약 하에서 메모리 경제성을 유지하는 희소 학습 프레임워크(MEST)를 개발한다.
• 실제 디바이스에서 희소성 스킴이 정확도, 메모리 사용량, 학습 속도에 미치는 영향을 조사한다.
• 최종 정확도에 지장을 주지 않으면서 학습 속도를 추가로 높이기 위한 희소 학습의 데이터 효율성을 탐구한다.

제안 방법

• 돌연변이를 통해 목표 희소도 s를 유지하는 희소 학습 프레임워크(MEST)를 정의한다.
• 수렴의 불안정을 야기하지 않으면서 돌연변이 비율을 점진적으로 감소시키고 탐색 공간을 넓히기 위해 Elastic Mutation(EM)을 도입한다.
• 최종 희소성을 유지하면서 새로 형성된 가중치의 임시 증가와 훈련을 허용하는 Soft Memory Bound(EM&S)를 제안하여 메모리 유연성을 가능하게 한다.
• 가중치 크기와 그래디언트 크기를 결합한 중요도 점수를 계산하여 가중치의 제거/성장을 안내한다.
• 메모리 효율성을 보존하기 위해 돌연변이 및 희소성 연산이 인덱스에서 수행되도록 하여 프로세스를 엄격하게 희소하게 유지한다.
• 엣지 디바이스에서 다양한 희소성 스킴(unstructured, block, pattern)을 평가하여 실제 학습 속도, 정확도 및 메모리 사용량을 측정한다.
• 훈련 중 덜 정보가 많은 예제를 식별하고 제거하기 위한 데이터 효율적 2단계 학습(DE)을 제안하며, 잊힘 이벤트를 기준으로 한다.

실험 결과

연구 질문

• RQ1 엣지 디바이스에서 희소성 스킴에 따라 MEST 프레임워크가 정확도, 학습 속도 및 메모리 footprints에서 어떤 성능을 보이는가?
• RQ2 높은 희소도에서 Elastic Mutation과 Soft Memory Bound가 최종 모델 정확도에 미치는 영향은 무엇인가?
• RQ3 데이터 효율성(2단계 학습)가 최종 정확도에 손상을 주지 않으면서 엣지에서 희소 학습을 더 가속할 수 있는가?
• RQ4 다양한 희소성 스킴(unstructured, block, pattern)이 모바일 하드웨어에서 학습 속도와 메모리 사용에 어떤 영향을 미치는가?

주요 결과

• MEST+EM 및 특히 MEST+EM&S는 CIFAR-10/100에서 ResNet-32/VGG-19를 사용할 때 SOTA 희소 학습 방법에 비해 희소비율에 상관없이 일관되게 정확도를 향상시킨다.
• MEST는 엣지 디바이스에서 상당한 학습 가속을 달성하며, 블록/패턴 스킴의 경우 최대 약 2.3배의 이득과 스킴에 따라 주목할 만한 메모리 사용량 감소를 보여준다.
• Soft Memory Bound(EM&S)는 가지치기 전 새로 형성된 가중치의 성장을 허용하여 극도로 높은 희소도(예: 98%)에서 정확도를 더 높게 얻도록 하며, 이를 되돌리는 메커니즘으로 작동한다.
• 데이터 효율적 2단계 학습(DE)은 CIFAR-10/100 실험에서 최종 정확도에 손상을 주지 않으면서 잊혀진 예제 제거를 활용하여 학습 시간을 10-22% 더 감소시킬 수 있다.
• ImageNet의 ResNet-50에서 MEST 변형은 유사한 또는 더 낮은 FLOPs 하에서 유사 메모리 효율성을 유지하면서 정확도 면에서 비교 가능한 방법들보다 우수하다.