[논문 리뷰] On the importance of cross-task features for class-incremental learning

Albin Soutif--Cormerais, Marc Masana외 2명|arXiv (Cornell University)|2021. 06. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 40인용 수 6

한 줄 요약

이 논문은 클래스-증강 학습(class-IL)에서 교차 작업 특징의 역할을 조사하며, 리플레이 전략이 망각을 완화할 수는 있지만, 클래스-IL에서 성능 격차의 주요 원인은 망각이 아니라 교차 작업 특징의 부족한 학습에 있음을 입증한다. 저자들은 새로운 망각 측정 기준을 제안하고, 특히 제한된 데이터에서 성능 향상에 있어 망각 감소보다 지식 전이와 특징 품질—특히 교차 작업 특징 학습—이 더 중요하다는 것을 보여준다.

ABSTRACT

In class-incremental learning, an agent with limited resources needs to learn a sequence of classification tasks, forming an ever growing classification problem, with the constraint of not being able to access data from previous tasks. The main difference with task-incremental learning, where a task-ID is available at inference time, is that the learner also needs to perform cross-task discrimination, i.e. distinguish between classes that have not been seen together. Approaches to tackle this problem are numerous and mostly make use of an external memory (buffer) of non-negligible size. In this paper, we ablate the learning of cross-task features and study its influence on the performance of basic replay strategies used for class-IL. We also define a new forgetting measure for class-incremental learning, and see that forgetting is not the principal cause of low performance. Our experimental results show that future algorithms for class-incremental learning should not only prevent forgetting, but also aim to improve the quality of the cross-task features, and the knowledge transfer between tasks. This is especially important when tasks contain limited amount of data.

연구 동기 및 목표

• 테스트 시점에 작업 ID가 제공되지 않는 클래스-증강 학습(class-IL)에서 교차 작업 특징 학습이 성능 향상에 미치는 영향을 조사하는 것.
• 메모리 제약 하에서 성능 저하의 주요 원인이 치명적 망각(catastrophic forgetting)이라는 가정을 도전하는 것, 특히 메모리 제약 하에서의 성능 저하 원인을 재고하는 것.
• 클래스-IL에 특화된 새로운 망각 측정 기준을 제안하고, 학습 문제의 누적 성격을 더 잘 반영하는 데 목적이 있다.
• 리플레이 기반 클래스-증강 학습 방법에서 교차 작업 특징 학습, 지식 전이, 편향 보정의 상대적 중요성을 평가하는 것.
• 클래스-증강 학습에서 성능 향상이 망각 최소화보다는 향상된 특징 품질과 작업 간 지식 전이에 더 기인함을 입증하는 것.

제안 방법

• 저자들은 두 가지 파인튜닝 기반 베이스라인을 비교한다: 하나는 명시적으로 교차 작업 특징을 학습하는 (FT^BAL_{+CTF}) 것으로, 다른 하나는 그렇지 않은 (FT^BAL_{-CTF}) 것으로, 균형 임의 샘플링을 사용하는 리플레이 버퍼를 활용한다.
• 모든 이전 작업에 걸쳐 망각을 평가하는 누적 망각 측정 기준을 도입하여, 작업 별가 아니라 전체 망각을 반영함으로써 클래스-IL 설정을 더 잘 반영한다.
• 모델 성능 평가에 작업 인식 정확도(A_taw)와 작업 추론 정확도(A_tinf)를 사용한다: A_taw는 작업 ID가 제공될 때의 분류 정확도를 측정하며, A_tinf는 작업 ID 없이도 예측을 올바른 작업에 할당할 수 있는 능력을 측정한다.
• CIFAR-100을 대상으로 10개의 작업을 설정하고, 각 클래스당 메모리 크기를 20에서 500개의 예시로 변화시켜, 메모리 크기가 특징 학습과 성능에 미치는 영향을 평가한다.
• 메모리 크기 증가가 망각과 성능에 미치는 영향을 분석하며, 작업-최신성 편향 등의 요소와 별도로 교차 작업 특징 학습의 역할을 분리하여 평가한다.
• 지식 전이 분석을 위해, 명시적인 교차 작업 특징 학습 여부에 따라 성능 향상 정도를 비교하며, 특히 정방향 및 역방향 전이 측면에서 분석한다.

실험 결과

연구 질문

• RQ1 교차 작업 특징 학습이 명시적으로 이루어지지 않을 경우, 클래스-증강 학습에서 성능 저하에 얼마나 기여하는가?
• RQ2 치명적 망각이 클래스-증강 학습에서 성능 저하의 주요 원인인가, 아니면 다른 요소가 더 영향을 미치는가?
• RQ3 메모리 크기를 증가시킬 경우, 교차 작업 특징 학습과 전체 성능에 어떤 영향을 미치는가?
• RQ4 향상된 작업 간 지식 전이가 감소된 망각이나 향상된 교차 작업 특징 학습보다 성능 향상에 더 큰 기여를 할 수 있는가?
• RQ5 작업 인식 정확도와 작업 추론 정확도 측정 기준은 클래스-증강 학습의 진정한 과제를 진단하는 데 어떻게 비교 가능한가?

주요 결과

• 제안된 누적 망각 측정 기준에 따르면, 클래스-증강 학습과 공동 학습(joint training) 간의 성능 격차는 치명적 망각 때문이 아니라, 망각이 거의 없는 것으로 나타났다.
• 망각이 0이 되어도 성능은 메모리 크기가 증가함에 따라 계속 향상되며, 이는 망각이 클래스-증강 학습의 주요 제약 요소가 아님을 시사한다.
• 교차 작업 특징 학습은 클래스당 50개의 예시 이후에 안정화되며, 이후 메모리 증가는 주로 향상된 지식 전이 덕분에 성능 향상이 이루어지며, 교차 작업 특징 학습 향상 덕분이 아니다.
• 작업 추론 정확도(A_tinf)는 메모리 크기가 증가함에 따라 증가하며, 명시적인 교차 작업 특징 학습 여부에 따라 성능 격차(FT^BAL_{+CTF} 대비 FT^BAL_{-CTF})는 50개 예시에서 안정화되며, 이는 이 시점까지는 이미 교차 작업 특징 학습이 주로 완료됨을 시사한다.
• 두 기반 모델 모두에서 작업 인식 정확도(A_taw)는 메모리 크기가 증가함에 따라 증가하며, 이는 지식 전이—특히 정방향 및 역방향 전이—가 성능 향상에 핵심적인 역할을 한다는 것을 나타낸다.
• 결과적으로 향후 클래스-증강 학습 알고리즘은 망각 최소화에만 집중하기보다는 특징 품질 향상과 작업 간 지식 전이 향상을 우선시해야 한다.