[논문 리뷰] New Insights for the Stability-Plasticity Dilemma in Online Continual Learning

Dahuin Jung, Dongjin Lee외 4명|arXiv (Cornell University)|2023. 02. 17.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 사전 훈련된 인코더에서 다중 척도 특징을 활용하고, 작업 간 지식을 유지하기 위한 구조적 손실을 도입하며, 안정성과 유연성에 대해 별도로 최적화하는 안정성-유연성 정규화(SPN) 모듈을 갖춘 새로운 온라인 지속적 학습 프레임워크 MuFAN을 제안한다. MuFAN은 SVHN, CIFAR100, miniImageNet, CORe50에서 최신 기술 수준(SOTA) 성능을 달성하며, 기존 방법 대비 평균 정확도에서 최대 6.5% 향상되었다.

ABSTRACT

The aim of continual learning is to learn new tasks continuously (i.e., plasticity) without forgetting previously learned knowledge from old tasks (i.e., stability). In the scenario of online continual learning, wherein data comes strictly in a streaming manner, the plasticity of online continual learning is more vulnerable than offline continual learning because the training signal that can be obtained from a single data point is limited. To overcome the stability-plasticity dilemma in online continual learning, we propose an online continual learning framework named multi-scale feature adaptation network (MuFAN) that utilizes a richer context encoding extracted from different levels of a pre-trained network. Additionally, we introduce a novel structure-wise distillation loss and replace the commonly used batch normalization layer with a newly proposed stability-plasticity normalization module to train MuFAN that simultaneously maintains high plasticity and stability. MuFAN outperforms other state-of-the-art continual learning methods on the SVHN, CIFAR100, miniImageNet, and CORe50 datasets. Extensive experiments and ablation studies validate the significance and scalability of each proposed component: 1) multi-scale feature maps from a pre-trained encoder, 2) the structure-wise distillation loss, and 3) the stability-plasticity normalization module in MuFAN. Code is publicly available at https://github.com/whitesnowdrop/MuFAN.

연구 동기 및 목표

• 한 개의 데이터 포인트에 대한 훈련 신호가 제한되어 있어 발생하는 온라인 지속적 학습에서의 높아진 유연성-취약성 문제를 해결하기 위해.
• 스트리밍 데이터 환경에서 기존 작업의 기억 상실 방지를 위한 안정성과 새로운 작업 학습을 위한 유연성을 동시에 향상시키기 위해.
• 기존 방법이 단일 척도 특징, 포인트 기반 손실, 또는 표준 정규화 레이어에 의존하는 한계를 극복하기 위해.
• 다양한 지속적 학습 벤치마크에 효과적으로 스케일링 가능한 통합 프레임워크를 설계하기 위해.
• 다중 척도 특징, 구조적 손실, SPN 모듈의 개별 기여도를 아블레이션 연구를 통해 검증하기 위해.

제안 방법

• MuFAN은 사전 훈련된 인코더의 浅층에서 심층까지의 다중 척도 특징 맵을 추출하여 후속 분류 작업을 위한 맥락적 표현을 풍부하게 한다.
• 구조적 손실은 재플레이 버퍼에 저장된 비연속적인 작업 간의 관계를 활용하여 추가적인 지식 유지 신호를 생성한다.
• 안정성-유연성 정규화(SPN) 모듈은 병렬적으로 플라스틱성에 적합한 배치 정규화(BN)와 안정성에 적합한 공간 정규화(IN/LN)를 적용하여 두 목표를 동시에 최적화한다.
• 이러한 구성 요소들을 종단 간 훈련 파이프라인에 통합하여, 이전 데이터에 접근할 수 없는 조건에서도 순차적 작업 간 높은 성능을 유지한다.
• 구조적 손실은 서로 다른 작업의 특징 맵 간의 대비 손실로 계산되며, 유사도 측정에 arccos 기반 방법을 사용한다.
• 아블레이션 연구를 통해 다중 척도 특징과 SPN 모듈의 필수성과 확장 가능성을 검증한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 인코더에서 추출한 다중 척도 특징은 온라인 지속적 학습 성능 향상에 어떻게 기여하는가?
• RQ2 비연속적인 작업 간 관계를 활용하는 구조적 손실은 포인트 기반 손실보다 재난적 기억 상실을 더 효과적으로 줄일 수 있는가?
• RQ3 안정성과 유연성을 별도로 최적화하는 이중 분지 정규화 모듈은 온라인 CL에서 표준 정규화 레이어보다 우수한 성능을 내는가?
• RQ4 구조적 손실을 효과적으로 활용하기 위해 필요한 작업당 최적의 샘플 수는 얼마인가?
• RQ5 다양한 지속적 학습 벤치마크에서 MuFAN은 최신 기술 수준 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• MuFAN은 SVHN, CIFAR100, miniImageNet, CORe50에서 최신 기술 수준 성능을 달성하였으며, CORe50에서 이전 SOTA 대비 평균 정확도 6.5% 향상되었다.
• 구조적 손실은 기억 상실을 크게 감소시키며, N ≥ 5개 샘플(작업당)에서 성능이 안정화되고, N = 10 또는 20일 때도 성능 저하가 관찰되지 않았다.
• SPN 모듈은 SN 및 CN을 포함한 모든 기준 정규화 레이어를 초월했으며, CORe50에서 52.80%의 정확도와 61.90%의 LA를 기록하여, CN 대비 각각 1.62%, 2.62% 높은 성능을 보였다.
• 아블레이션 연구를 통해 다중 척도 특징, 구조적 손실, SPN이 성능 향상에 기여하며, 특히 SPN이 안정성 향상에 가장 큰 영향을 미친다.
• SPN 모듈에서 안정성에 IN과 LN, 유연성에 BN을 사용할 경우, miniImageNet에서 72.7%의 LA를 기록하여 BN+IN 및 BN+LN 대비 각각 5.3%, 5.3% 포인트 높은 성능을 보였다.
• 프레임워크는 뛰어난 확장성을 보이며, 기존 온라인 CL 방법(예: ER-Ring)에 다중 척도 특징을 통합할 경우 일관된 성능 향상이 발생한다.