[논문 리뷰] TKIL: Tangent Kernel Approach for Class Balanced Incremental Learning

Jinlin Xiang, Eli Shlizerman|arXiv (Cornell University)|2022. 06. 17.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

TKIL은 기울기 탄성 커널(GTK) 손실을 사용하여 작업 간 특성 표현 간의 산란을 최소화하고, 과적합을 방지하기 위해 평균 가중치 업데이트 규칙을 결합한 새로운 클래스 균형 임계 학습 방법을 제안한다. 이는 CIFAR-100과 ImageNet에서 최신 기술(SOTA) 성능을 달성하며, 작업 예측 정확도가 거의 완벽한 수준(최대 99.9%)에 도달하고 기존 방법보다 일관된 클래스 정확도 향상을 보인다.

ABSTRACT

When learning new tasks in a sequential manner, deep neural networks tend to forget tasks that they previously learned, a phenomenon called catastrophic forgetting. Class incremental learning methods aim to address this problem by keeping a memory of a few exemplars from previously learned tasks, and distilling knowledge from them. However, existing methods struggle to balance the performance across classes since they typically overfit the model to the latest task. In our work, we propose to address these challenges with the introduction of a novel methodology of Tangent Kernel for Incremental Learning (TKIL) that achieves class-balanced performance. The approach preserves the representations across classes and balances the accuracy for each class, and as such achieves better overall accuracy and variance. TKIL approach is based on Neural Tangent Kernel (NTK), which describes the convergence behavior of neural networks as a kernel function in the limit of infinite width. In TKIL, the gradients between feature layers are treated as the distance between the representations of these layers and can be defined as Gradients Tangent Kernel loss (GTK loss) such that it is minimized along with averaging weights. This allows TKIL to automatically identify the task and to quickly adapt to it during inference. Experiments on CIFAR-100 and ImageNet datasets with various incremental learning settings show that these strategies allow TKIL to outperform existing state-of-the-art methods.

연구 동기 및 목표

• 모든 클래스에서 균형 잡힌 성능을 유지함으로써 클래스 임계 학습에서 치명적인 기억 상실 문제를 해결한다.
• 최근에 학습된 작업에 대한 편향을 줄이기 위해 작업 간 일관된 특성 표현을 유지한다.
• 추론 중에 효과적인 태스크별 미세조정을 지원하기 위해 작업 예측을 정확하게 수행할 수 있도록 한다.
• 기억 데이터의 클래스 불균형에도 불구하고 최신 작업에 과적합되는 것을 방지하는 학습 전략을 개발한다.
• 신경 탄성 커널(NTK) 동역학 기반의 새로운 손실 함수를 도입하여 점진적 학습 단계 간 특성 표현을 조율한다.

제안 방법

• 이전 작업과 현재 작업의 특성 레이어 기울기 간 거리를 측정하는 Gradients Tangent Kernel(GTK) 손실을 제안한다.
• 학습 중 GTK 손실을 최소화하여 작업 간 특성 표현을 정렬하고 산란을 줄인다.
• 평균 가중치 업데이트 규칙을 사용: 각 태스크별 모델을 한 번의 미니배치로 훈련하고 가중치를 평균하여 학습 안정성과 과적합 방지를 도모한다.
• 유한 너비 네트워크에서도 기울기 흐름 역학을 모델링하기 위해 신경 탄성 커널(NTK) 이론을 활용하여 표현 정렬을 이끈다.
• 도착하는 샘플의 태스크를 높은 정확도로 예측할 수 있는 기본 모델을 훈련시켜 추론 중 효과적인 태스크별 미세조정을 가능하게 한다.
• GTK 손실을 지식 증착(KD)과 메모리 재생 기법과 통합하여 이전 작업의 지식을 유지한다.

실험 결과

연구 질문

• RQ1 기울기 역학에서 유도된 커널 기반 손실이 점진적 학습에서 클래스 균형 성능을 향상시키는 데 기여하는가?
• RQ2 GTK 손실은 순차적으로 학습된 작업 간 특성 표현의 일관성과 정렬에 어떤 영향을 미치는가?
• RQ3 평균 가중치 업데이트 규칙이 최신 작업에 대한 과적합을 완화하고 클래스 간 일반화 성능을 향상시키는가?
• RQ4 제안된 방법을 사용해 추론 중 얼마나 정확한 작업 예측을 달성할 수 있으며, 이는 미세조정 성능에 어떤 영향을 미치는가?
• RQ5 다양한 벤치마크에서 TKIL은 전체 정확도, 클래스 균형 정확도, 작업 예측 신뢰성 측면에서 최신 기술(SOTA) 방법과 비교해 어떻게 성능을 냈는가?

주요 결과

• TKIL은 10, 20, 50개의 점진적 단계를 거친 CIFAR-100에서 거의 100%의 작업 예측 정확도를 달성하며, 기준선을 크게 앞서 간다.
• CIFAR-100에서 10개의 점진적 단계를 거친 경우, TKIL은 평균 클래스 정확도 82.5%를 기록하며, 다음으로 우수한 방법보다 5个百分点 이상 높다.
• CIFAR-100에서 20개의 점진적 단계를 거친 경우, TKIL은 최소한의 성능 하락(slope ~0.8)을 보이며 안정적인 정확도 곡선을 유지하며, 다른 방법들은 심각한 성능 붕괴를 보인다.
• 절단 실험 결과, GTK 손실과 평균 가중치 규칙을 결합할 경우 CIFAR-100에서 최고의 클래스 정확도(82.5%)와 작업 예측 정확도(99.9%)를 달성한다.
• GTK 손실의 최적 하이퍼파라미터 γ는 γ = 0.1이며, 이는 표현 유지와 초기 또는 후속 작업에 대한 과적합 방지를 균형 있게 조절한다.
• ImageNet에서는 TKIL이 강력한 일반화 성능을 보이며, 다중 클래스 점진적 학습 시나리오에서 기존 최신 기술(SOTA) 방법을 모두 앞선다.