[논문 리뷰] Heterogeneous Forgetting Compensation for Class-Incremental Learning

Jiahua Dong, Wenqi Liang외 2명|arXiv (Cornell University)|2023. 08. 07.

Domain Adaptation and Few-Shot LearningComputer Science인용 수 3

한 줄 요약

이 논문은 이질적 망각을 동시에 최적화하는 표현 및 기울기 측면을 고려한 새로운 클래스 증분 학습 프레임워크인 이질적 망각 보완(Heterogeneous Forgetting Compensation, HFC)을 제안한다. 작업-세분적 집합 블록을 도입하여 작업 공유 표현을 학습하고, 기울기 균형 잊기 보완 및 관계 distillation이라는 플러그-앤플레이 손실 두 가지를 추가하여 이전 클래스 간 기울기 업데이트를 균형 있게 조절함으로써, ViT-Base 기반으로 CIFAR-100에서 평균 정확도 79.4%를 달성하여 최신 기술 수준(SOTA)을 달성한다.

ABSTRACT

Class-incremental learning (CIL) has achieved remarkable successes in learning new classes consecutively while overcoming catastrophic forgetting on old categories. However, most existing CIL methods unreasonably assume that all old categories have the same forgetting pace, and neglect negative influence of forgetting heterogeneity among different old classes on forgetting compensation. To surmount the above challenges, we develop a novel Heterogeneous Forgetting Compensation (HFC) model, which can resolve heterogeneous forgetting of easy-to-forget and hard-to-forget old categories from both representation and gradient aspects. Specifically, we design a task-semantic aggregation block to alleviate heterogeneous forgetting from representation aspect. It aggregates local category information within each task to learn task-shared global representations. Moreover, we develop two novel plug-and-play losses: a gradient-balanced forgetting compensation loss and a gradient-balanced relation distillation loss to alleviate forgetting from gradient aspect. They consider gradient-balanced compensation to rectify forgetting heterogeneity of old categories and heterogeneous relation consistency. Experiments on several representative datasets illustrate effectiveness of our HFC model. The code is available at https://github.com/JiahuaDong/HFC.

연구 동기 및 목표

• 기존 클래스 증분 학습(CIL) 방법이 모든 이전 클래스에 대해 균일한 망각을 가정함으로써 내재된 망각 이질성에 주목하지 못하는 한계를 해결하기 위해.
• 다양한 외관(예: 자동차, 버스)을 가진 클래스들과 구분 가능한 특성(예: 도로, 교통 표지판)을 가진 클래스들이 망각 속도가 어떻게 다를 수 있는지 탐구하기 위해.
• 이전 카테고리 간 표현 학습과 기울기 업데이트 균형을 동시에 최적화하여 망각 이질성을 줄이기 위해.
• 구조적 변경 없이도 망각 보완 성능을 향상시킬 수 있는 플러그-앤플레이 프레임워크를 개발하여 지속적 학습에서 일반화 능력을 향상시키기 위해.

제안 방법

• 각 작업 내에서 국소적 카테고리 특징을 집계하여 글로벌, 작업 공유 표현을 학습하는 작업-세분적 집합(TSA) 블록을 도입하여 표현 수준의 망각 이질성을 감소시킨다.
• 각 이전 클래스의 망각 심각도에 따라 기울기 업데이트를 동적으로 조정하는 기울기 균형 잊기 보완(GFC) 손실을 제안하여 이질적 클래스 간 최적화의 균형을 확보한다.
• 기존 클래스 간 상호 관계를 유지하기 위해 기울기 균형 관계 distillation(GRD) 손실을 설계하여 증분 학습 과정에서 학습된 특징 관계의 일관성을 유지한다.
• TSA, GFC, GRD를 통합하여 기존 CIL 백본(예: ViT-Base, ResNet-32)과 호환되는 플러그인 모듈로 작동하는 통합 HFC 프레임워크를 구성한다.
• 이전 클래스 간 불균형 망각 정도를 정량화하고 분석하기 위해 분산 기반 망각 이질성(FH) 지표를 도입한다.
• 지식 distillation, 리플레이 없는 학습, 기울기 균형을 통합한 통합 학습 목표를 활용하여 망각을 최소화하면서도 이전 클래스의 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 일부 이전 클래스가 다른 클래스보다 더 빨리 망각되는 망각 이질성은 기존 클래스 증분 학습 모델의 성능에 어떤 영향을 미치는가?
• RQ2 작업-세분적 집합 블록을 통해 전역적 작업 공유 표현을 학습하면 클래스 증분 학습에서 망각 이질성을 줄일 수 있는가?
• RQ3 기울기 균형 보완 손실은 망각 경향이 다른 이전 클래스들 간 불균형한 기울기 전파를 어느 정도 완화할 수 있는가?
• RQ4 표현 수준과 기울기 수준의 보완을 조합하면, 쉽게 망각되는 클래스와 어려운 클래스 양쪽 모두에서 일반화 능력 향상과 망각 감소에 기여하는가?
• RQ5 기본 벤치마크에서 평균 정확도와 망각 이질성 측면에서 제안된 HFC 모델은 최신 기술 수준의 CIL 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• ViT-Base 기반으로 5개의 작업에서 CIFAR-100에서 HFC는 평균 정확도 79.4%를 달성하여 이전 SOTA 방법인 FOSTER보다 0.6%포인트 높은 성능을 보였다.
• 기본 모델의 망각 이질성(FH) 지표는 131.5에서 HFC에서는 103.6으로 감소하여 이전 클래스 간 불균형 망각이 크게 감소했음을 입증했다.
• 제거 실험을 통해 TSA, GFC, GRD 모든 구성 요소가 상호 보완적으로 기여하며, 전체 HFC 모델이 기본 모델 대비 FH를 21.8% 감소시켰다.
• ResNet-32와 결합했을 때 HFC는 기본 모델 대비 평균 정확도를 0.7~0.8점 향상시켰으며, AFC의 상한선 갭도 12.6% 개선했다.
• 작업별 성능 분석 결과 HFC는 모든 증분 작업에서 다른 방법들을 항상 앞서며, 특히 망각이 가장 심각한 후반 단계에서 뚜렷한 우월성을 보였다.
• 기울기 균형 손실은 어려운 망각 클래스에 대한 과잉 보완을 효과적으로 줄이고, 쉽게 망각되는 클래스에 대한 과소 보완을 방지하여 FH 지표와 정확도 곡선을 통해 검증되었다.