[논문 리뷰] Learn to Grow: A Continual Structure Learning Framework for Overcoming Catastrophic Forgetting

Xilai Li, Yingbo Zhou외 3명|arXiv (Cornell University)|2019. 03. 31.

Domain Adaptation and Few-Shot Learning참고 문헌 30인용 수 80

한 줄 요약

이 논문은 학습-확장(learn-to-grow) 프레임워크를 제안하는데, 이는 연속 학습에서의 재앙적 망각 문제를 다루기 위해 신경 구조 최적화를 파라미터 학습과 분리하고, NAS를 사용해 공유 기본 네트워크 위에 태스크-특정 구조를 성장시킨다.

ABSTRACT

Addressing catastrophic forgetting is one of the key challenges in continual learning where machine learning systems are trained with sequential or streaming tasks. Despite recent remarkable progress in state-of-the-art deep learning, deep neural networks (DNNs) are still plagued with the catastrophic forgetting problem. This paper presents a conceptually simple yet general and effective framework for handling catastrophic forgetting in continual learning with DNNs. The proposed method consists of two components: a neural structure optimization component and a parameter learning and/or fine-tuning component. By separating the explicit neural structure learning and the parameter estimation, not only is the proposed method capable of evolving neural structures in an intuitively meaningful way, but also shows strong capabilities of alleviating catastrophic forgetting in experiments. Furthermore, the proposed method outperforms all other baselines on the permuted MNIST dataset, the split CIFAR100 dataset and the Visual Domain Decathlon dataset in continual learning setting.

연구 동기 및 목표

• 깊은 네트워크에서의 연속 학습 및 재앙적 망각 문제에 대한 동기 부여.
• 구성 요소를 공유하면서 태스크-특정 구조를 명시적으로 학습하는 프레임워크를 제안한다.
• 구조 학습과 파라미터 학습을 분리하여 성능을 향상하고 모델 크기를 관리한다.

제안 방법

• NAS를 통한 신경 구조 최적화와 현재 구조 위에서의 파라미터 학습/미세 조정으로 이루어진 이중 구성 요소 프레임워크를 도입한다.
• 공유 가능한 계층과 태스크-특정 추가를 관리하는 슈퍼 네트워크 S를 사용하며, 재사용, 적응 또는 새 구성 요소 생성 옵션이 있다.
• 모델 크기를 한정하기 위한 태스크 손실과 구조 규제 및 파라미터 규제를 결합한 페널티 손실(Eq. 4)을 도입한다.
• 이산적 아키텍처 선택을 연속 NAS(DARTS 스타일이 아닌)로 가능하게 하는 differentiable Softmax로 완화한다.
• 검증 세트에서 아키텍처 가중치 alpha를 최적화하고, 학습 세트에서 네트워크 파라미터를 업데이트하는 교대 업데이트를 통해 최적화한다.
• 구성 요소 재사용/적응/신규 연산으로의 구조 최적화를 구현하고 매 작업 후 슈퍼 모델을 어떻게 업데이트하는지 설명한다.

실험 결과

연구 질문

• RQ1 명시적 연속 구조 학습이 구성 요소를 공유하면서도 태스크-특정 아키텍처를 합리적으로 도출할 수 있는가?
• RQ2 구조 학습을 파라미터 학습과 분리하는 것이 베이스라인과 비교하여 재앙적 망각을 감소시키는가?
• RQ3 학습된 구조가 태스크가 비슷한지 다른지에 따라 어떻게 적응하는가?

주요 결과

• 구조 최적화는 비슷한 태스크 간에 계층을 공유하는 경향이 있으며, 태스크가 매우 다를 때는 새 파라미터를 생성한다(예: ImageNet vs Omniglot).
• permuted MNIST의 경우 학습된 구조가 베이스라인보다 더 좋거나 동등하며, 계층 재사용 시 강력한 망각 제어가 나타난다.
• Visual Domain Decathlon에서 본 방법은 태스크 간 평균 성능이 가장 높고 어댑터와 비교해 총 파라미터 수를 대략 유지한다.
• 재사용된 계층을 규제나 작은 학습률로 미세 조정하면 망각을 크게 완화하고 이전 태스크의 성능을 보존한다.
• 제시된 실험에서 permuted MNIST와 split CIFAR-100에 대해 여러 최첨단 연속 학습 방법보다 더 높은 성능을 보였다.