[논문 리뷰] Continual Learning via Neural Pruning

Siavash Golkar, M. Kagan외 1명|arXiv (Cornell University)|2019. 03. 11.

Domain Adaptation and Few-Shot Learning참고 문헌 17인용 수 90

한 줄 요약

CLNP는 희소화된 고정 용량 네트워크의 사용되지 않는 용량에서 새로운 작업을 학습시키며, 이전 작업의 망각을 0으로 보장하고 희소성과 성능의 균형을 맞추기 위한 원활한 망각을 제공합니다.

ABSTRACT

We introduce Continual Learning via Neural Pruning (CLNP), a new method aimed at lifelong learning in fixed capacity models based on neuronal model sparsification. In this method, subsequent tasks are trained using the inactive neurons and filters of the sparsified network and cause zero deterioration to the performance of previous tasks. In order to deal with the possible compromise between model sparsity and performance, we formalize and incorporate the concept of graceful forgetting: the idea that it is preferable to suffer a small amount of forgetting in a controlled manner if it helps regain network capacity and prevents uncontrolled loss of performance during the training of future tasks. CLNP also provides simple continual learning diagnostic tools in terms of the number of free neurons left for the training of future tasks as well as the number of neurons that are being reused. In particular, we see in experiments that CLNP verifies and automatically takes advantage of the fact that the features of earlier layers are more transferable. We show empirically that CLNP leads to significantly improved results over current weight elasticity based methods.

연구 동기 및 목표

• 평생 학습을 고정 용량 제약 하에서 동기 부여하여 재앙적 망각을 피한다.
• 미래 작업을 위한 재사용 가능한 특성 경로를 만들기 위한 활성화 기반 신경 가지치기를 제안한다.
• 약간의 정확도 손실을 용인하고 확보된 용량을 회복하기 위한 원활한 망각을 소개한다.
• 층 간 전달성 평가를 위한 남은 자유 뉴런과 재사용된 뉴런에 대한 진단을 제공한다.
• MNIST와 CIFAR 벤치마크에서 가중치 탄력성 방법보다 경험적으로 개선을 보여준다.

제안 방법

• 네트워크를 활성화 기반 희소성으로 활성화, 비활성화 및 간섭 구성요소로 분할한다.
• 비활성화 뉴런과 연결된 자유 가중치만 업데이트하여 새로운 작업을 학습하고 간섭 가중치는 0으로 설정한다.
• 평균 뉴런 활성화를 기반으로 희소성을 유도하기 위한 L1 가중치 규제와 사후 학습 뉴런 가지치기 단계를 적용한다.
• 이전 작업을 잊지 않고 작업 출력을 관리하기 위한 단일 헤드 또는 다중 헤드의 게이팅/마스킹 체계를 도입한다.
• 검증 정확도가 최적치의 작은 여백 안에 유지되도록 희소성 수준을 선택하여 원활한 망각 전략을 적용한다.
• 층 간 남은 자유 뉴런 및 전달된 특징에 대한 간단한 진단을 제공한다.

실험 결과

연구 질문

• RQ1 활성화 기반 희소성이 고정 용량 네트워크가 이전에 학습한 것을 잊지 않으면서 수많은 작업을 학습할 수 있게 하는가?
• RQ2 층 간 특징 재사용이 전이 학습 및 지속적 학습의 전반적 성능에 어떤 영향을 미치는가?
• RQ3 원활한 망각을 도입하면 초기 작업의 정확도를 유지하면서 장기 용량이 개선되는가?
• RQ4 지속적 학습 중 용량 사용 및 전달 가능성을 정량화하는 진단은 무엇인가?

주요 결과

방법	정확도 (%)
Single Task SGD	98.48 ± 0.05
Kirkpatrick et al. [9]	97.0
Zenke et al. [21]	97.2
Cheung et al. [2]	97.6
CLNP (ours)	98.42 ± 0.04

• CLNP는 고정 용량에서 순수 단일 태스크 SGD 정확도에 근접한 성능을 보이며 작업 간 망각이 없다.
• permuted MNIST 실험에서 CLNP는 98.42% ± 0.04%를 달성하고 단일 태스크 SGD의 98.48% ± 0.05% 및 경쟁 방법의 97.0–97.6%를 상회한다.
• 초기 층이 더 전이 가능한 특징을 제공하고 후속 층은 새로운 작업 사용에 더 많은 성장을 보이는 것으로 나타났다.
• 10개의 작업 이후에도 레이어 1에서 18%, 레이어 2에서 40%의 상당한 용량이 남아 있으며 특정 구성에서는 약 25개의 작업을 최종 용량 고갈 없이 가능하게 한다.
• wide 단일 헤드 네트워크를 사용한 CIFAR-10 / CIFAR-100 실험에서 다중 작업에 대한 강건성과 망각 관리를 확인하였다(완만한 여유 1–4%).
• 가지치기 후 미세 조정을 포함한 더 발전된 희소화 변형은 CIFAR 실험에서 성능을 추가로 향상시키고 망각을 줄인다.