[논문 리뷰] Consistency is the key to further mitigating catastrophic forgetting in continual learning

Prashant Bhat, Bahram Zonooz외 1명|arXiv (Cornell University)|2022. 07. 11.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 경험 재생(ER)에 일致성 정규화를 통합하여 지속적 학습에서 학습 안정성과 치명적 잊음 방지를 향상시키는 방법을 제안한다. 버퍼에 저장된 샘플의 소프트 레이블 예측을 활용해, 증강된 시각들 간의 일致한 예측을 강제함으로써 일반화 능력, 캘리브레이션 정확도, 내구성을 향상시킨다. 특히 낮은 버퍼 크기 조건에서 뛰어난 성능을 발휘하며, 모든 평가 시나리오에서 기존 ER보다 뛰어나다. 특히 민코프스키 거리와 엄격한 일치 조건이 가장 효과적임을 확인하였다.

ABSTRACT

Deep neural networks struggle to continually learn multiple sequential tasks due to catastrophic forgetting of previously learned tasks. Rehearsal-based methods which explicitly store previous task samples in the buffer and interleave them with the current task samples have proven to be the most effective in mitigating forgetting. However, Experience Replay (ER) does not perform well under low-buffer regimes and longer task sequences as its performance is commensurate with the buffer size. Consistency in predictions of soft-targets can assist ER in preserving information pertaining to previous tasks better as soft-targets capture the rich similarity structure of the data. Therefore, we examine the role of consistency regularization in ER framework under various continual learning scenarios. We also propose to cast consistency regularization as a self-supervised pretext task thereby enabling the use of a wide variety of self-supervised learning methods as regularizers. While simultaneously enhancing model calibration and robustness to natural corruptions, regularizing consistency in predictions results in lesser forgetting across all continual learning scenarios. Among the different families of regularizers, we find that stricter consistency constraints preserve previous task information in ER better.

연구 동기 및 목표

• 표준 경험 재생이 성능을 발휘하지 못하는 낮은 버퍼 크기 조건에서 치명적 잊음을 해결하기 위해.
• 소프트 예측의 일치성 정규화가 ER 기반 지속적 학습에서 지식 유지에 어떻게 기여하는지 조사하기 위해.
• 민코프스키 거리, KL 발산, MSE, 그리고 자기지도 학습 프리텍스트 작업을 포함한 다양한 일치성 정규화 방법의 효과를 평가하기 위해.
• 일치성 정규화가 모델 캘리브레이션, 분포 이탈에 대한 내구성, 그리고 과거 작업에 대한 편향(사건 최신성 편향) 완화에 미치는 영향을 분석하기 위해.

제안 방법

• 이전 작업의 입력 이미지와 진짜 레이블과 함께 모델의 예측값(소프트 레이블)을 버퍼에 저장한다.
• 학습 중에 버퍼에 저장된 샘플의 원본 및 증강된 시각 간의 예측 편차를 방지하기 위해 일치성 정규화를 적용한다.
• 다양한 일치성 정규화 방법을 사용: Lp 노름(민코프스키), KL 발산, MSE를 활용해 정규화 방법의 효과를 비교한다.
• 일치성 정규화를 자기지도 학습 프리텍스트 작업으로 간주하여, 최신 기술의 SSL 방법을 정규화 방법으로 통합할 수 있도록 한다.
• 일관된 학습 벤치마크에서 ER에 일치성 정규화를 적용한 모델을 훈련하고 성능을 평가한다.
• 기대 캘리브레이션 오차(ECE)를 통해 모델 캘리브레이션을 분석하고, CIFAR-10-C를 통해 내구성을 평가하며, 작업별 예측 확률의 정규화된 값으로 사건 최신성 편향을 분석한다.

실험 결과

연구 질문

• RQ1 낮은 버퍼 크기 조건에서 경험 재생에서 소프트 예측의 일치성 정규화가 지식 유지에 어떻게 기여하는가?
• RQ2 Lp, KL, MSE 등 다양한 일치성 정규화 가족 중에서 지속적 학습에서 가장 효과적인 것은 무엇인가?
• RQ3 자기지도 학습 방법을 ER 기반 지속적 학습에서 일치성 정규화로 효과적으로 재사용할 수 있는가?
• RQ4 일치성 정규화가 모델의 캘리브레이션 및 자연적 손상에 대한 내구성에 얼마나 기여하는가?
• RQ5 일치성 정규화는 지속적 학습에서 과거 작업에 대한 편향(사건 최신성 편향)을 완화하는가?

주요 결과

• 일치성 정규화는 낮은 버퍼 크기(예: 500개 샘플) 조건에서도 모든 지속적 학습 시나리오에서 치명적 잊음을 크게 감소시킨다.
• 민코프스키 거리 함수(Lp 노름)는 놀랍도록 효과적이고 효율적이며, KL 발산과 MSE보다 잊음 감소 효과가 뛰어나다.
• 더 엄격한 일치 조건은 더 나은 이전 작업 지식 유지와 더 효과적인 잊음 감소를 이끌어낸다.
• 모든 일치성 정규화 방법이 모델 캘리브레이션을 향상시키며, 더 엄격한 조건은 기대 캘리브레이션 오차(ECE)를 기존 ER 대비 최대 절반으로 줄인다.
• 일치성 정규화는 자연적 손상(예: 블러, 노이즈)에 대한 내구성을 향상시키며, CIFAR-10-C의 15가지 손상 유형 전반에서 기존 ER을 능가하는 성능을 보인다.
• 사건 최신성 편향은 부작용으로 완화되며, 예측 확률이 기존 ER의 극도로 편향된 예측과는 달리, 다양한 작업 간에 더 균형 잡힌 분포를 보인다.