[논문 리뷰] Stabilizing Elastic Weight Consolidation method in practical ML tasks and using weight importances for neural network pruning

Alexey Kutalev, Alisa Lapina|arXiv (Cornell University)|2021. 09. 21.

Neural Networks and Applications인용 수 6

한 줄 요약

이 논문은 컨volutional 및 세라미컬 어텐션 네트워크에서 경량화된 웨이트 콜라보레이션(EWC) 방법을 안정화하여 지속적 학습에 활용한다. 특히 기울기 폭주 및 노름 제약 조건 하에서 기울기 신호 손실 문제를 다루며, 원래 EWC보다 훈련 안정성은 향상시키면서도 유사한 지속적 학습 성능 유지를 보이는 안정화된 EWC 변종을 제안한다. 또한, 신경망 프루닝에 있어 EWC 기반 중요도보다는 가중치 크기 또는 총 절대 신호가 더 우수하다는 것을 발견한다.

ABSTRACT

This paper is devoted to the features of the practical application of the Elastic Weight Consolidation (EWC) method for continual learning of neural networks on several training sets. We will more rigorously compare the well-known methodologies for calculating the importance of weights used in the EWC method. These are the Memory Aware Synapses (MAS), Synaptic Intelligence (SI) methodologies and the calculation of the importance of weights based on the Fisher information matrix from the original paper on EWC. We will consider these methodologies as applied to deep neural networks with fully connected and convolutional layers, find the optimal hyperparameters for each of the methodologies, and compare the results of continual neural network learning using these hyperparameters. Next, we will point out the problems that arise when applying the EWC method to deep neural networks with convolutional layers and self-attention layers, such as the "gradient explosion" and the loss of meaningful information in the gradient when using the constraint of its norm (gradient clipping). Then, we will propose a stabilization approach for the EWC method that helps to solve these problems, evaluate it in comparison with the original methodology and show that the proposed stabilization approach performs on the task of maintaining skills during continual learning no worse than the original EWC, but does not have its disadvantages. In conclusion, we present an interesting fact about the use of various types of weight importance in the problem of neural network pruning.

연구 동기 및 목표

• 컨volutional 및 세라미컬 어텐션 레이어를 갖는 깊은 신경망에서 실용적인 지속적 학습을 위한 EWC 방법의 안정화.
• MAS, SI, Fisher 정보 기반 가중치 중요도 방법을 사용하여 EWC의 최적 하이퍼파rameter를 철저히 비교하고 선택.
• EWC에서 범위 제약 조건 하에 기울기 폭주 및 기울기 신호 손실과 같은 훈련 불안정성 문제를 규명하고 해결.
• EWC에서 유도된 가중치 중요도의 비정규 프루닝에 대한 유용성 평가.
• 완전 연결 및 컨볼루션 네트워크에서 프루닝에 가장 효과적인 가중치 중요도 지표 규명.

제안 방법

• 컨볼루션 및 세라미컬 어텐션 네트워크에서 백프로파게이션 중 기울기 폭주를 완화하고 기울기 신호 유지 능력을 향상시키는 안정화된 EWC 방법 제안.
• 특정 아키텍처 및 데이터셋에서 각 가중치 중요도 방법(MAS, SI, Fisher)에 대해 EWC 하이퍼파rameter λ에 대한 그리드 서치를 수행하여 최적의 값을 도출.
• 세 가지 방법으로 가중치 중요도 계산: 원래 EWC 논문에서 제안한 메모리 인식 신경망(MAS), 시냅스 지능(SI), Fisher 정보 행렬.
• 고정된 하이퍼파ram터를 가진 Adam 옵티마이저를 사용하여 MNIST 순열 및 90도 회전 적용된 MNIST/Fashion-MNIST에서 순차적 훈련 중 안정화된 EWC 방법 적용.
• 크기 기반 및 EWC에서 유도된 중요도 점수 기반으로 가중치를 0으로 설정하여 비정규 프루닝 수행하고, 프루닝 비율 증가에 따른 정확도 저하 평가.
• 각 실험에 대해 20회의 독립 실행을 수행하여 평균 정확도 및 95% 신뢰구간을 계산하여 강력한 평가 수행.

실험 결과

연구 질문

• RQ1 완전 연결 및 컨볼루션 네트워크에서 지속적 학습 시, 다양한 가중치 중요도 방법(MAS, SI, Fisher)에 대해 EWC 하이퍼파rameter λ의 최적 값은 무엇인가?
• RQ2 기울기 폭주 및 기울기 클리핑은 컨볼루션 및 세라미컬 어텐션 네트워크에서 EWC의 훈련 안정성에 어떤 영향을 미치는가?
• RQ3 제안된 안정화 방법은 기존 EWC의 치명적 기억 상실 완화 능력을 유지하면서도 훈련 안정성을 향상시키는가?
• RQ4 비정규 신경망 프루닝에서 가장 뛰어난 성능을 보이는 가중치 중요도 지표는 무엇인가? (크기, MAS, SI, Fisher 정보)
• RQ5 증가하는 희소성 하에서 EWC 기반 프루닝의 정확도 저하 성능은 크기 기반 프루닝과 비교해 어떻게 되는가?

주요 결과

• 가중치 중요도에 대해 메모리 인식 신경망(MAS) 방법이 지속적 학습에서 SI 및 Fisher 정보 기반 중요도보다 항상 뛰어나며, 테스트된 모든 아키텍처에서 평균 정확도가 가장 높았다.
• 각 중요도 방법에 대해 최적의 λ 값은 그리드 서치를 통해 경험적으로 도출되었으며, MAS는 다양한 네트워크 유형에서 가장 우수한 성능을 보였다.
• 제안된 EWC 안정화 방법은 원래 EWC의 지속적 학습 성능을 유지하거나 초월하면서도 기울기 폭주 및 기울기 신호 감소 문제를 해결했다.
• 비정규 프루닝에서 가중치 크기 및 총 절대 신호 기반 프루닝이 MAS, SI 또는 Fisher 정보 중요도 기반 프루닝보다 유의미하게 뛰어나며, 정확도 저하가 최소한이었다.
• MAS, SI 또는 Fisher 중요도 기반 프루닝은 성능이 열악했으며, 이는 이러한 지표가 현재 가중치 값 주변의 국소 중요도를 반영하기 때문일 것으로 보이며, 가중치가 0으로 설정되면 이 중요도가 무효화되기 때문이다.
• 안정화된 EWC 방법은 트랜스포머와 같은 세라미컬 어텐션 메커니즘을 갖는 대규모 언어 모델의 파인튜닝에 특히 유망하다. 이는 훈련 안정성이 향상되었기 때문이다.