[논문 리뷰] Layerwise Optimization by Gradient Decomposition for Continual Learning

Shixiang Tang, Dapeng Chen외 3명|arXiv (Cornell University)|2021. 05. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 57인용 수 4

한 줄 요약

이 논문은 연속 학습에서 에피소딕 메모리의 기울기를 공유 및 과제별 특화 성분으로 분해함으로써, 공유 기울기와의 일致성과 과제별 특화 기울기와의 수직성을 강제하는 새로운 연속 학습 프레임워크를 제안한다. 기울기의 크기 불균형을 완화하기 위해 계층별로 기울기를 최적화함으로써, 다양한 연속 학습 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, Split Tiny ImageNet에서 GEM 및 S-GEM과 같은 이전 방법들보다 최대 3.9% 높은 성능을 기록하였다.

ABSTRACT

Deep neural networks achieve state-of-the-art and sometimes super-human performance across various domains. However, when learning tasks sequentially, the networks easily forget the knowledge of previous tasks, known as "catastrophic forgetting". To achieve the consistencies between the old tasks and the new task, one effective solution is to modify the gradient for update. Previous methods enforce independent gradient constraints for different tasks, while we consider these gradients contain complex information, and propose to leverage inter-task information by gradient decomposition. In particular, the gradient of an old task is decomposed into a part shared by all old tasks and a part specific to that task. The gradient for update should be close to the gradient of the new task, consistent with the gradients shared by all old tasks, and orthogonal to the space spanned by the gradients specific to the old tasks. In this way, our approach encourages common knowledge consolidation without impairing the task-specific knowledge. Furthermore, the optimization is performed for the gradients of each layer separately rather than the concatenation of all gradients as in previous works. This effectively avoids the influence of the magnitude variation of the gradients in different layers. Extensive experiments validate the effectiveness of both gradient-decomposed optimization and layer-wise updates. Our proposed method achieves state-of-the-art results on various benchmarks of continual learning.

연구 동기 및 목표

• 기울기를 독립적으로 다루는 대신, 과제 간 기울기 정보를 활용하여 연속 학습에서 치명적인 기억 상실을 해결한다.
• 이전 방법들이 계층 간 기울기를 연결함으로써 고기울기 계층에 의해 지배될 수 있는 한계를 극복한다.
• 공통된 지식(모든 이전 과제에 공통인 지식)과 과제별 특화 지식(개별 과제에 고유한 지식)을 구분함으로써 지식 유지 능력을 향상시킨다.
• 기울기 크기 변화의 영향을 줄이기 위해 각 계층에서 기울기 업데이트를 분리하는 계층별 최적화 전략을 개발한다.
• 과제 증분 및 클래스 증분 연속 학습 환경 전반에서 최신 기술 수준 성능을 달성한다.

제안 방법

• 각 이전 과제의 기울기를 모두의 이전 과제에 공통인 공유 성분과 그 과제에 고유한 과제별 특화 성분으로 분해한다.
• 업데이트 기울기가 공유 기울기와 내적에서 음수가 되지 않도록 강제하여 공통 지식의 통합을 촉진한다.
• 업데이트 기울기가 모든 과제별 특화 기울기의 공간과 수직이 되도록 제약 조건을 부여하여 과제별 특화 지식을 보존한다.
• 엄격한 수직성 제약 조건을 완화하기 위해 주성분 분석(PCA)을 적용하여 가장 중요한 기울기 방향에 집중한다.
• 기울기 제약 조건을 각 계층에서 독립적으로 해결함으로써 계층별 최적화를 구현하여 연결된 기울기에서 발생하는 크기 불균형을 방지한다.
• 연속 학습 중에 이전 과제와 신규 과제의 손실을 동시에 최적화하기 위해 기울기 제약 조건을 갖춘 에피소딕 메모리 재생을 구현한다.

실험 결과

연구 질문

• RQ1 과제 간 기울기 정보를 효과적으로 분리하여 연속 학습에서 지식 통합 능력을 향상시킬 수 있는가?
• RQ2 과제별 특화 기울기 부분공간과의 수직성을 강제하면 간섭을 최소화하면서도 과제별 특화 지식을 보존하는 데 도움이 되는가?
• RQ3 계층별 기울기 최적화가 고기울기 기울기의 지배를 줄이고 이전 과제 성능을 향상시키는 데 기여하는가?
• RQ4 기울기 분해 기법은 GEM 또는 A-GEM와 같은 전통적인 기울기 제약 방법과 비교해 기억 상실과 정확도 측면에서 어떻게 성능을 내는가?
• RQ5 제안된 방법은 과제 증분 및 클래스 증분 시나리오를 포함한 다양한 연속 학습 환경에서 일반화 가능한가?

주요 결과

• 1 에포크 동안 Split CIFAR100에서 성능을 GEM의 65.8%에서 69.3%로 향상시켜 3.5% 향상.
• 1 에포크 동안 Split Tiny ImageNet에서 38.1%의 정확도를 기록하여 GEM의 34.2%보다 3.9% 향상.
• Split CIFAR100의 클래스 증분 설정에서 65.3%의 정확도를 달성하여 최신 기술 수준의 MUC 방법과 동일하고, GEM보다 3% 높은 성능.
• MNIST Permutation 및 Split CIFAR10를 포함한 모든 벤치마크에서 GEM, A-GEM 및 S-GEM를 일관되게 능가.
• 제거 실험을 통해 기울기 분해와 계층별 최적화 전략이 성능 향상에 기여한다는 것이 확인되었다.
• 계층별 전략은 더 빠른 수렴과 낮은 기억 상실률을 통해 이전 과제 손실 감소 효율성을 높였다.