[논문 리뷰] Compacting, Picking and Growing for Unforgetting Continual Learning

Steven C. Y. Hung, Cheng-Hao Tu외 4명|arXiv (Cornell University)|2019. 10. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 45인용 수 134

한 줄 요약

본 논문은 잊지 않는 지속적 학습을 위한 CPG를 제시합니다. 이는 가지치기로 모델을 압축하고, 미분가능한 마스크로 중요한 과거 가중치를 선택하며, 필요할 때만 네트워크를 확장하여 다수의 작업에서 잊지 않는(compact growth) 성장을 달성합니다. 또한 여러 베이스라인을 능가하고 향후 작업을 위한 컴팩트한 지식 기반을 유지합니다.

ABSTRACT

Continual lifelong learning is essential to many applications. In this paper, we propose a simple but effective approach to continual deep learning. Our approach leverages the principles of deep model compression, critical weights selection, and progressive networks expansion. By enforcing their integration in an iterative manner, we introduce an incremental learning method that is scalable to the number of sequential tasks in a continual learning process. Our approach is easy to implement and owns several favorable characteristics. First, it can avoid forgetting (i.e., learn new tasks while remembering all previous tasks). Second, it allows model expansion but can maintain the model compactness when handling sequential tasks. Besides, through our compaction and selection/expansion mechanism, we show that the knowledge accumulated through learning previous tasks is helpful to build a better model for the new tasks compared to training the models independently with tasks. Experimental results show that our approach can incrementally learn a deep model tackling multiple tasks without forgetting, while the model compactness is maintained with the performance more satisfiable than individual task training.

연구 동기 및 목표

• 수많은 순차 작업에 걸쳐 확장 가능하면서도 파국적 망각을 피하는 지속적(평생) 학습의 필요성과 동기를 제시한다.
• 모델 압축, 핵심 가중치 선택, 그리고 진행적 네트워크 확장을 결합한 간단하고 효과적인 프레임워크를 제안한다.
• 독립적으로 학습하는 것과 비교해 과거 작업의 지식을 재사용하는 것이 새로운 작업의 학습을 향상시킨다는 것을 보인다.
• 이 방법이 무한한 순차 작업을 지원하면서도 모델 크기를 컴팩트하게 유지할 수 있음을 보여준다.

제안 방법

• 성능을 보존하면서 현재 작업 모델을 압축하기 위해 점진적 가지치기를 적용한다.
• 새 작업에 재사용할 오래된 가중치의 부분집합을 선택하기 위한 학습 가능한 이진 마스크를 도입한다.
• 새 작업에 해제된(추가) 가중치를 재사용하고, 정확도 목표가 달성되지 않으면 아키텍처를 확장한다.
• 잊어버림을 방지하기 위해 오래된 작업의 가중치를 고정하고, 새 작업 가중치와 선택 마스크 및 해제된 가중치를 함께 학습한다.
• 새 작업에 대한 학습 후 새로운 가중치를 추가로 가지치고 해당 작업의 컴팩트한 표현을 얻는다.
• 이후 작업에 대해 합리적으로 압축, 선택, 확장을 반복한다.

실험 결과

연구 질문

• RQ1 컴팩트화-선택-확장 사이클이 무한한 순차 작업에서도 망각 없이 확장을 가능하게 하면서 기억 상실을 막을 수 있는가?
• RQ2 학습 가능한 마스크를 통해 컴팩트한(old-task weights) 집합을 재사용하는 것이 새 작업의 성능을 처음부터 학습하거나 전체 공유할 때와 비교해 향상시키는가?
• RQ3 제안된 방법이 정확도와 모델 크기 측면에서 관련 지속적 학습 방법들(예: ProgressiveNet, PackNet, DEN)과 어떻게 비교되는가?
• RQ4 과도한 증가 없이 목표 정확도를 달성하기 위해 필요한 아키텍처 확장 수준은 어느 정도인가?
• RQ5 독립 작업 학습과 비교했을 때 학습된 지식 기반이 미래 작업 성능에 유익한가?

주요 결과

• CPG는 새로운 작업을 순차적으로 학습하는 동안도 기존 작업의 정확한 성능을 유지한다.
• 베이스라인과 비교할 때 CPG는 모델을 컴팩트하게 유지하고 소폭 확장하면서 더 좋거나 유사한 정확도를 달성한다.
• 핵심 가중치 마스크를 사용하면 불필요한 과거 작업 가중치를 줄이고 이후 작업의 성능이 향상된다.
• CPG는 일부 베이스라인(DEN, ProgressiveNet 등)보다 확장이 작으면서도 여러 작업에 걸쳐 정확도를 유지하거나 향상시킨다.
• 이 방법은 독립적으로 작업을 학습하는 것과 비교해 새로운 작업 학습을 향상시키는 재사용 가능한 지식 기반을 구축한다.