[논문 리뷰] Neural Network Retraining for Model Serving

Diego Klabjan, Xiaofeng Zhu|arXiv (Cornell University)|2020. 04. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 18인용 수 6

한 줄 요약

이 논문은 신경망 모델 서빙을 위한 새로운 인크리멘탈 재훈련 프레임워크를 제안하며, 다중 손잡이 락키(MAB)를 사용해 동적 데이터 샘플링을 하고, 중요한 뉴런과 시냅스를 유지하기 위한 새로운 정규화 항을 도입하여 치명적 망각을 완화하고 효율성을 향상시킨다. 이 방법은 핵심 가중치를 선택적으로 재훈련하고 영향력 있는 이전 데이터 배치를 재재현함으로써 계산 비용을 줄이며 뛰어난 성능을 달성한다.

ABSTRACT

We propose incremental (re)training of a neural network model to cope with a continuous flow of new data in inference during model serving. As such, this is a life-long learning process. We address two challenges of life-long retraining: catastrophic forgetting and efficient retraining. If we combine all past and new data it can easily become intractable to retrain the neural network model. On the other hand, if the model is retrained using only new data, it can easily suffer catastrophic forgetting and thus it is paramount to strike the right balance. Moreover, if we retrain all weights of the model every time new data is collected, retraining tends to require too many computing resources. To solve these two issues, we propose a novel retraining model that can select important samples and important weights utilizing multi-armed bandits. To further address forgetting, we propose a new regularization term focusing on synapse and neuron importance. We analyze multiple datasets to document the outcome of the proposed retraining methods. Various experiments demonstrate that our retraining methodologies mitigate the catastrophic forgetting problem while boosting model performance.

연구 동기 및 목표

• 모델 서빙 중 지속적인 신경망 재훈련에서 치명적 망각을 해결하기 위해.
• 선택적으로 영향력 있는 이전 데이터와 핵심 가중치만을 재훈련하기 위해 동적으로 선택함으로써 재훈련 계산 비용을 줄이기 위해.
• 뉴런과 시냅스 중요도를 유지하는 새로운 정규화 항을 통해 모델의 일반화 능력과 정확도를 향상시키기 위해.
• 제한된 메모리와 계산 자원으로도 시간이 지남에 따라 모델 성능을 유지할 수 있는 효율적이고 확장 가능한 재훈련 프레임워크를 개발하기 위해.
• MAB 기반 샘플링과 동적 가중치 최적화를 통합하여 CNN, MLP, RNN에 모두 적용 가능한 유일한 일반화된 재훈련 파이프라인을 구축하기 위해.

제안 방법

• 손실 감소 또는 가중치 크기 변화를 보상으로 삼아, 다중 손잡이 락키(MAB) 알고리즘을 사용해 이전 데이터의 미니배치를 선택한다.
• 각 클러스터를 하나의 손잡이로 간주하고, 손실 감소 또는 가중치 갱신 크기를 보상으로 삼아 MAB를 사용해 가중치 클러스터를 선택하여 최적화한다.
• 뉴런 표현이 안정된 상태에서만 가중치 갱신이 이루어지도록 유도하는 새로운 정규화 항을 도입하여 망각을 줄인다.
• 에포크 간 가중치 변화에 대해 K-means 클러스터링을 적용하여 중요한 가중치를 클러스터로 묶어 선택적 재훈련을 수행한다.
• MAB 기반 메모리 재현과 새로운 정규화 항을 결합하여 새로운 데이터 학습과 이전 지식 유지 간의 균형을 맞춘다.
• 에포크 기반 사전 훈련 후 MAB 기반의 피니터닝을 통해 선택적 최적화를 시작하기 전에 가중치를 초기화한다.

실험 결과

연구 질문

• RQ1 새로운 데이터로 신경망을 효율적으로 재훈련하면서 치명적 망각을 최소화할 수 있는 방법은 무엇인가?
• RQ2 무작위 또는 고정된 재현 전략에 비해 MAB 기반의 이전 데이터 샘플링이 재훈련 효율성과 모델 정확도 향상에 기여하는가?
• RQ3 동적 가중치 클러스터링과 선택적 최적화가 성능 저하 없이 계산 비용을 줄일 수 있는가?
• RQ4 뉴런과 시냅스 중요도 기반의 제안된 정규화 항이 모델 안정성과 일반화 능력에 어떤 영향을 미치는가?
• RQ5 MAB 기반 재훈련 프레임워크는 다양한 아키텍처(CNN, MLP, RNN)와 데이터셋에 대해 강건하고 효과적인가?

주요 결과

• MAB 기반 메모리 재현 방법은 10개의 랜덤 시드를 기반으로 SEA 데이터셋에서 평균 정확도 0.8511을 기록했으며, 표준편차는 뿐다. 이는 높은 강건성을 보여준다.
• 배치 정규화, 클러스터링, MAB의 조합은 기준 BN 대비 CIFAR-10-E에서 1.49% 향상되었고, Clustering+MAB 대비 1.12% 향상되었다.
• MNIST-A 데이터셋에서 BN+Clustering+MAB는 99.14%의 정확도를 기록하여, BN 단독(98.88%)과 Clustering+MAB(99.09%)를 모두 초월했다.
• Clustering+MAB를 BN 단독과 비교했을 때, 6개의 데이터셋 평균으로 일반화 능력이 4.9% 향상되었으며, 일부 데이터셋에선 최대 16.0% 향상되었다.
• MAB에 최적의 가중치 클러스터 수는 k=3로, SEA 데이터셋에서 가장 높은 검증 정확도를 기록했다.
• MAB 기반 재훈련 세션은 가중치 클러스터를 균형 있게 선택했으며, 시간이 지남에 따라 각 클러스터가 거의 동일한 빈도로 선택되어 안정적인 탐색이 이루어졌음을 시사한다.