[논문 리뷰] Continual Learning with Recursive Gradient Optimization

Hao Liu, Huaping Liu|arXiv (Cornell University)|2022. 01. 29.

Domain Adaptation and Few-Shot Learning인용 수 8

한 줄 요약

이 논문은 데이터 재생 없이 고정 용량 네트워크에서의 망각을 최소화하기 위해, 과거 작업 손실의 이차 상한과 작업별 구조를 위한 가상의 특징 인코딩 레이어(FEL)를 사용해 기울기를 재귀적으로 수정하는 정규화 기반의 지속적 학습 방법인 재귀적 기울기 최적화(RGO)를 제안한다. RGO는 데이터 재생 없이도 20개의 스플릿-CIFAR100(82.22%)과 20개의 스플릿-miniImageNet(72.63%)에서 최신 기술 수준(SOTA) 성능을 달성하며, 기존의 고정 용량 기반 기준선을 능가하고 단일 작업 학습 정확도와도 맞먹거나 초월한다.

ABSTRACT

Learning multiple tasks sequentially without forgetting previous knowledge, called Continual Learning(CL), remains a long-standing challenge for neural networks. Most existing methods rely on additional network capacity or data replay. In contrast, we introduce a novel approach which we refer to as Recursive Gradient Optimization(RGO). RGO is composed of an iteratively updated optimizer that modifies the gradient to minimize forgetting without data replay and a virtual Feature Encoding Layer(FEL) that represents different long-term structures with only task descriptors. Experiments demonstrate that RGO has significantly better performance on popular continual classification benchmarks when compared to the baselines and achieves new state-of-the-art performance on 20-split-CIFAR100(82.22%) and 20-split-miniImageNet(72.63%). With higher average accuracy than Single-Task Learning(STL), this method is flexible and reliable to provide continual learning capabilities for learning models that rely on gradient descent.

연구 동기 및 목표

• 데이터 재생이나 네트워크 용량 증가에 의존하지 않고 치명적인 망각을 해결하기 위해.
• 현재 작업의 성능를 유지하면서 망각을 최소화하는 기울기 기반 최적화 방법을 개발하기 위해.
• 표준 학습률과 최적화기 동작을 유지함으로써 기존 딥 러닝 모델과 학습 전략과의 호환성을 확보하기 위해.
• 모델 크기를 늘리지 않고도 파라미터가 없는 작업 인코딩 메커니즘을 도입하여 작업 간의 네트워크 행동을 분리하기 위해.

제안 방법

• RGO는 과거 작업 손실의 이차 상한 하에서 기울기 방향을 재귀적으로 수정하는 최적화 절차를 사용하여, 명시적 하이퍼파라미터 균형 조정 없이도 망각을 최소화한다.
• 현재 작업의 학습률을 유지하기 위해 추적 정규화 과정을 도입하여 표준 단일 작업 학습 프로토콜과의 호환성을 확보한다.
• 실제 레이어 이후에 가상의 특징 인코딩 레이어(FEL)를 삽입하며, 작업 ID를 랜덤 시드로 사용해 특징 맵을 순열화하여 작업별 가상의 구조를 생성한다.
• FEL은 추가 파라미터 없이도 작업별 행동을 가능하게 하여 네트워크의 피팅 능력을 유지한다.
• 이 방법은 과거 작업 손실을 추정하기 위해 두 번째 순서 테일러 전개를 기반으로 하며, 헤시안 기반 기울기 보정을 통해 파라미터 업데이트를 안내한다.
• 이 방법은 표준 백프로파게이션과 호환되며, 대부분의 딥 러닝 프레임워크에 최소한의 오버헤드로 통합될 수 있다.

실험 결과

연구 질문

• RQ1 기본적인 데이터 재생이나 아키텍처 확장을 사용하지 않고도 기울기 기반 지속적 학습 방법이 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 기울기 수정을 어떻게 재귀적으로 최적화할 수 있을까? 이는 망각을 최소화하면서도 현재 작업 성능를 유지하기 위함이다.
• RQ3 파라미터가 없는 작업 인코딩 메커니즘이 고정 용량 네트워크에서 작업 간 간섭을 효과적으로 줄일 수 있는가?
• RQ4 현재 작업 우선 원칙이 전통적인 손실 균형 조정 접근 방식보다 얼마나 더 우수한가?
• RQ5 기존의 정규화 기반 및 메모리 기반 접근 방식과 비교했을 때, 제안된 방법은 망각과 정확도 측면에서 어떤가?

주요 결과

• RGO는 20개의 스플릿-CIFAR100 벤치마크에서 82.22%의 새로운 최신 기술 수준 정확도를 달성하여, 기존의 고정 용량 기반 방법들을 크게 능가한다.
• 20개의 스플릿-miniImageNet에서 RGO는 72.63%의 정확도를 기록하여 새로운 SOTA 결과를 수립하였으며, 다양한 데이터셋에 대한 강력한 일반화 능력을 보여준다.
• RGO는 지속적 학습으로 인한 성능 저하가 최소화되어 단일 작업 학습(STL)과 비교해 평균 정확도가 유사하거나 높은 수준을 유지한다.
• 이 방법은 표준 딥 러닝 프레임워크와 완전히 호환되며, 표준 백프로파게이션을 초과하는 데 상수 시간 및 메모리 오버헤드만을 요구한다.
• 가상의 특징 인코딩 레이어(FEL)는 추가 파라미터 없이도 효과적인 작업별 행동을 가능하게 하여 모델 용량과 일반화 능력을 유지한다.
• 실험 결과 RGO는 정규화 기반 기준선보다 망각을 더 효과적으로 줄이며, 하이퍼파라미터 튜닝이나 메모리 재생이 필요 없음을 확인했다.