[논문 리뷰] Incremental Learning Using a Grow-and-Prune Paradigm with Efficient Neural Networks

Xiaoliang Dai, Hongxu Yin외 1명|arXiv (Cornell University)|2019. 05. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 40인용 수 8

한 줄 요약

이 논문은 뇌에 영감을 받은 인크리멘탈 학습 프레임워크를 제안하며, 새로운 데이터에 효율적으로 적응하기 위해 신경망 연결을 동적으로 증가시키고 제거한다. 기울기 기반 성장과 크기 기반 제거를 조합함으로써, 학습 비용을 최대 67% 감소시키고 정확도를 향상시키며, 학습에서부터 다시 시작하거나 미세조정하는 것보다 더 컴act한 모델을 생성한다.

ABSTRACT

Deep neural networks (DNNs) have become a widely deployed model for numerous machine learning applications. However, their fixed architecture, substantial training cost, and significant model redundancy make it difficult to efficiently update them to accommodate previously unseen data. To solve these problems, we propose an incremental learning framework based on a grow-and-prune neural network synthesis paradigm. When new data arrive, the neural network first grows new connections based on the gradients to increase the network capacity to accommodate new data. Then, the framework iteratively prunes away connections based on the magnitude of weights to enhance network compactness, and hence recover efficiency. Finally, the model rests at a lightweight DNN that is both ready for inference and suitable for future grow-and-prune updates. The proposed framework improves accuracy, shrinks network size, and significantly reduces the additional training cost for incoming data compared to conventional approaches, such as training from scratch and network fine-tuning. For the LeNet-300-100 and LeNet-5 neural network architectures derived for the MNIST dataset, the framework reduces training cost by up to 64% (63%) and 67% (63%) compared to training from scratch (network fine-tuning), respectively. For the ResNet-18 architecture derived for the ImageNet dataset and DeepSpeech2 for the AN4 dataset, the corresponding training cost reductions against training from scratch (network fine-tunning) are 64% (60%) and 67% (62%), respectively. Our derived models contain fewer network parameters but achieve higher accuracy relative to conventional baselines.

연구 동기 및 목표

• 인크리멘탈 데이터를 가진 실세계 응용 분야에서 지속적인 DNN 학습의 높은 계산 비용과 모델의 과잉 중복 문제를 해결한다.
• 기존의 재학습 또는 미세조정 방식에서의 고정된 아키텍처와 지식 손실의 한계를 극복한다.
• 동적 네트워크 확장과 제거를 통해 효율적이고 정확하며 컴act한 모델 업데이트를 가능하게 한다.
• 모델 정확도를 유지하거나 향상시키면서 추론 효율성을 향상시키고 학습 비용을 감소시킨다.

제안 방법

• 새로운 데이터가 도착할 때 기울기 기반 성장을 적용하여 네트워크 연결성을 확장하고, 새로운 정보를 수용할 수 있는 능력을 향상시킨다.
• 작은 가중치를 가진 연결을 제거하여 모델의 컴팩트함을 향상시키기 위해 크기 기반 제거를 사용한다.
• 두 단계의 제거를 구현한다: 향후 업데이트 호환성을 위해 복구 가능한 제거와 엄격한 자원 제약 하에 초소형 모델을 만들기 위한 복구 불가능한 제거.
• 성장과 함께 기존 데이터와의 공동 학습을 번갈아가며 수행하는 순차적 업데이트 파이프라인에 성장-제거 과정을 통합한다.
• 모델 학습을 두 단계로 수행한다: 첫 번째로 20 에포크 동안 새로운 데이터만으로 성장을 수행하고, 두 번째로 모든 데이터와 함께 30 에포크 동안 공동 학습을 수행한다.
• 모든 방법에 복구 가능한 제거를 적용하여 모델의 컴팩트함을 확보하고 향후 인크리멘탈 업데이트를 가능하게 한다.

실험 결과

연구 질문

• RQ1 성장-제거 프레임워크는 인크리멘탈 학습에서 학습 비용을 효과적으로 줄일 수 있는가? 이는 정확도를 유지하거나 향상시키는가?
• RQ2 학습에서부터 다시 시작하거나 미세조정하는 것과 비교해, 제안된 프레임워크는 추론 효율성과 모델 크기 측면에서 어떻게 다른가?
• RQ3 과잉 파rameter화된 DNN에서의 중복을 얼마나 줄일 수 있는가? 성능을 훼손하지 않고서도 가능한가?
• RQ4 이 프레임워크는 다양한 아키텍처(예: LeNet, ResNet-18, DeepSpeech2)와 데이터셋(MNIST, ImageNet, AN4)에 일반화될 수 있는가?
• RQ5 복구 가능한 제거를 사용할 경우, 향후 인크리멘탈 업데이트를 위한 모델의 적응 가능성은 유지되는가?

주요 결과

• MNIST에서 LeNet-300-100에 대해, 학습에서부터 다시 시작하는 것과 비교해 학습 비용을 최대 64% 감소시켰고, 미세조정과 비교해선 63% 감소시켰다.
• MNIST에서 LeNet-5에 대해선, 학습에서부터 다시 시작하는 것과 비교해 최대 67% 감소(63% 감소 vs. 미세조정)를 기록했다.
• ImageNet에서 ResNet-18에 대해선, 학습에서부터 다시 시작하는 것과 비교해 64% 감소, 미세조정과 비교해선 60% 감소를 기록했다.
• AN4에서 DeepSpeech2에 대해선, 학습에서부터 다시 시작하는 것과 비교해 67% 감소(62% 감소 vs. 미세조정)를 기록했다.
• 유도된 모델은 기존 기준 모델보다 더 높은 정확도(또는 낮은 오류율)와 더 적은 파라미터를 확보했으며, 최종 업데이트 시 30%(33%) 높은 압축 비율을 달성했다.
• 최종 업데이트(100% 데이터) 시, 학습에서부터 다시 시작하는 것과 비교해 0.7% 더 낮은 WER와 30% 더 높은 압축 비율을 달성했고, 미세조정과 비교해선 0.9% 더 낮은 WER와 33% 더 높은 압축 비율을 기록했다. 또한 훨씬 적은 학습 에포크를 요구했다.