[논문 리뷰] Learn to Grow: A Continual Structure Learning Framework for Overcoming Catastrophic Forgetting

Xilai Li, Yingbo Zhou외 3명|arXiv (Cornell University)|2019. 03. 30.

Multimodal Machine Learning Applications인용 수 110

한 줄 요약

이 논문은 구조 학습과 매개변수 학습을 명시적으로 분리하고 Task별 구조를 확장하는 Learn-to-Grow라는 연속 학습 프레임워크를 제안합니다. NAS를 이용해 공유 프리미티브를 재사용하고 구조를 확장해 범주화된 망각을 완화하며, Permuted MNIST, Split CIFAR-100, Visual Domain Decathlon에서 강력한 성능 향상을 보여줍니다.

ABSTRACT

Addressing catastrophic forgetting is one of the key challenges in continual learning where machine learning systems are trained with sequential or streaming tasks. Despite recent remarkable progress in state-of-the-art deep learning, deep neural networks (DNNs) are still plagued with the catastrophic forgetting problem. This paper presents a conceptually simple yet general and effective framework for handling catastrophic forgetting in continual learning with DNNs. The proposed method consists of two components: a neural structure optimization component and a parameter learning and/or fine-tuning component. By separating the explicit neural structure learning and the parameter estimation, not only is the proposed method capable of evolving neural structures in an intuitively meaningful way, but also shows strong capabilities of alleviating catastrophic forgetting in experiments. Furthermore, the proposed method outperforms all other baselines on the permuted MNIST dataset, the split CIFAR100 dataset and the Visual Domain Decathlon dataset in continual learning setting.

연구 동기 및 목표

• 시퀀스 태스크 학습에서 발생하는 범 catastrophic forgetting을 막는 방법으로서의 지속적 학습의 중요성 제시
• 구조 성장과 매개변수 학습을 분리하는 이원 프레임워크 제안
• 각 태스크에 대해 재사용, 적응, 새 구성요소 생성을 선택하기 위한 differentiable NAS 기반 방법 개발
• 다양한 지속적 학습 벤치마크에서 성능 개선 및 잊힘 감소 입증

제안 방법

• Learn-to-Grow 프레임워크를 도입하여 모델 Tt = Tt-1 ∪ θt를 태스크별 구조 st(Θt)로 확장합니다.
• 성장 제약으로 구조 규제 Rs(st)와 매개변수 규제 Rp(Θt)를 포함하는 페널티 손실을 형식화하여 성장 범위를 제어합니다.
• 계층별 선택(재사용, 적응, 새로 생성)을 최적화하기 위해 연속화된 구조 가중치 α의 differentiable NAS를 사용합니다.
• 두 단계 최적화: 검증 세트를 사용한 NAS로 구조를 선택하고 then 학습 세트에서 매개변수 학습; 모든 태스크별 구조를 모으는 슈퍼 네트워크 업데이트
• 각 층에 대해 세 가지 구체적 작업 구현: 재사용(이전 가중치 공유), 적응(작은 어댑터 추가), 새로 생성(새 층 생성)
• 현재 태스크에 대해 선택된 구조를 재훈련하고, 재사용된 부분의 안정성과 가소성의 균형을 위한 정규화 하에 선택된 부품의 미세 조정을 허용

실험 결과

연구 질문

• RQ1 NAS를 통한 명시적 지속적 구조 학습이 순차 태스크에 대해 합리적이고 태스크 특화된 아키텍처를 생성할 수 있는가?
• RQ2 구조 학습을 매개변수 학습과 분리하는 것이 기존의 지속적 학습 방법들보다 파급 효과적으로 잊힘을 감소시킬 수 있는가?
• RQ3 Learn-to-Grow 프레임워크가 Permuted MNIST, Visual Domain Decathlon과 같은 표준 벤치마크에서 최신 방법들과 비교해 얼마나 성능을 보이는가?
• RQ4 다양한 아키텍처 결정(재사용/적응/새로 생성)이 잊힘 및 태스크 간 전이성에 미치는 영향은 무엇인가?

주요 결과

• 학습된 구조는 의미적으로 유사한 태스크에 대해 층을 재사용하는 경향이 있으며, 태스크가 매우 다를 때는 새로운 구조를 생성하여 태스크 특화 아키텍처를 형성합니다.
• 잊힘은 SGD 기본보다 크게 완화되며 Permuted MNIST와 Visual Domain Decathlon에서 다른 방법들보다 경쟁력 있게 또는 우수하게 성능 향상을 보입니다.
• 이 접근법은 태스크 전반에서 높은 평균 정확도와 우수한 매개변수 효율성을 달성하며, 비슷한 모델 규모의 베이스라인보다 종종 더 잘 작동합니다.
• Permuted MNIST에서 이 방법은 EWC, IMM, HAT, DEN 등 몇몇 베이스라인보다 더 높은 평균 정확도에 도달합니다(정규화에 따라 다름).
• Visual Domain Decathlon에서 Learn-to-Grow 방법은 여러 태스크에서 최상의 overall 결과를 달성하며 매개 파라미터 발자국이 경쟁력 있습니다.
• 명시적 구조 학습은 순차 태스크에 대한 성능을 유지하거나 향상시키면서도 광범위한 미세 조정의 필요성을 줄여줌을 보여줍니다.