[논문 리뷰] On The Relationship Between Continual Learning and Long-Tailed Recognition

Mahdiyar Molahasani, Michael Greenspan외 1명|arXiv (Cornell University)|2023. 06. 23.

Domain Adaptation and Few-Shot LearningComputer Science인용 수 3

한 줄 요약

이 논문은 연속 학습(Continual Learning, CL)을 활용하여 먼저 헤드 클래스에서 학습한 후, 기억 상실 없이 꼬리 클래스를 순차적으로 학습함으로써 장수식 인식(Long-Tailed Recognition, LTR)을 향상시키는 통합 프레임워크를 제안한다. 이론적으로 강한 볼록성 조건 하에서 전체 데이터셋의 가중치는 헤드 클래스 전용 가중치와 유한한 거리 이내에 존재함을 보이며, 실험적으로 표준 CL 방법은 CIFAR100-LT, CIFAR10-LT, 그리고 실제 세계의 Caltech256 데이터셋에서 최신 기술(SOTA) LTR 모델을 능가한다.

ABSTRACT

Real-world datasets often exhibit long-tailed distributions, where a few dominant "Head" classes have abundant samples while most "Tail" classes are severely underrepresented, leading to biased learning and poor generalization for the Tail. We present a theoretical framework that reveals a previously undescribed connection between Long-Tailed Recognition (LTR) and Continual Learning (CL), the process of learning sequential tasks without forgetting prior knowledge. Our analysis demonstrates that, for models trained on imbalanced datasets, the weights converge to a bounded neighborhood of those trained exclusively on the Head, with the bound scaling as the inverse square root of the imbalance factor. Leveraging this insight, we introduce Continual Learning for Long-Tailed Recognition (CLTR), a principled approach that employs standard off-the-shelf CL methods to address LTR problems by sequentially learning Head and Tail classes without forgetting the Head. Our theoretical analysis further suggests that CLTR mitigates gradient saturation and improves Tail learning while maintaining strong Head performance. Extensive experiments on CIFAR100-LT, CIFAR10-LT, ImageNet-LT, and Caltech256 validate our theoretical predictions, achieving strong results across various LTR benchmarks. Our work bridges the gap between LTR and CL, providing a principled way to tackle imbalanced data challenges with standard existing CL strategies.

연구 동기 및 목표

• 장수식 데이터셋에서 데이터 불균형으로 인해 헤드 클래스가 학습을 지배함에 따라 희귀 클래스의 성능이 열 劣하는 문제를 해결한다.
• 강한 볼록성 조건 하에서 전체 데이터셋 가중치가 헤드 클래스 전용 가중치로부터 유한한 거리 이내에 유지됨을 이론적으로 정당화하여 CL을 LTR에 적용할 근거를 제시한다.
• 헤드 지식의 치명적인 기억 상실 없이 CL 방법을 통해 꼬리 클래스를 효과적으로 학습할 수 있음을 입증한다.
• 합성 데이터(MNIST-LT), 벤치마크(CIFAR100-LT, CIFAR10-LT), 실제 세계 데이터(Caltech256) 등 다양한 장수식 데이터셋에서 접근 방식의 유효성을 검증한다.
• 자연적으로 불균형된 데이터에서 전문적인 SOTA LTR 모델보다 표준 CL 기법이 더 뛰어난 성능을 내는지 보여준다.

제안 방법

• 강한 볼록성 조건 하에서 전체 데이터셋 학습의 가중치 벡터가 헤드 클래스 전용 학습의 가중치 벡터로부터 비례 상수(불균형 요인에 비례, 강한 볼록성 파라미터에 반비례)의 거리 이내에 존재함을 보여주는 정리를 제안한다.
• LTR 문제를 두 단계의 연속 학습 문제로 재정의한다: 먼저 헤드 집합에서 학습하고, 그 후 CL 방법을 사용해 꼬리 집합을 순차적으로 미세조정한다.
• 표준 CL 알고리즘—예를 들어 탄성 가중치 통합(Elastic Weight Consolidation, EWC), 지식 증착(Knowledge Distillation), 기울기 경로 방법(Gradient Path Method, GPM)—을 적용하여 꼬리 클래스에서 모델을 업데이트하면서도 헤드 성능을 유지한다.
• 수정된 EWC 변형을 사용하여 가중치 업데이트 방향만 제약함으로써, 유연성은 유지하면서도 더 균형 잡힌 가중치 분포를 달성한다.
• 균형 잡힌 테스트 정확도를 사용하여 CL 기반 모델의 성능을 SOTA LTR 기반 모델 및 전문화된 손실 정규화 방법과 비교 평가한다.
• 불균형 요인이 다양하게 설정된 MNIST-LT(시험용), CIFAR100-LT 및 CIFAR10-LT(벤치마크), Caltech256(실제 세계)에서 실험을 수행한다.

Figure 1: An overview of learning under the LTR scenario and our proposed algorithm is presented. Detailed description provided in text.

실험 결과

연구 질문

• RQ1 강한 볼록성 조건 하에서 전체 데이터셋과 헤드 클래스 전용 학습 간의 가중치 거리에 대한 이론적 상한이 통제된 환경에서 실험적으로 검증될 수 있는가?
• RQ2 특정 재균형 조정이나 손실 수정 없이도 표준 연속 학습 방법이 장수식 인식에서 성능 향상에 얼마나 기여할 수 있는가?
• RQ3 자연적으로 불균형한 실제 세계 데이터셋인 Caltech256에 CL을 적용하면 SOTA LTR 모델보다 성능 향상이 이루어지는가?
• RQ4 표준 벤치마크에서 CL 기반 LTR의 성능은 전문화된 손실 기반 또는 데이터 재균형 접근 방식과 비교해 어떻게 되는가?
• RQ5 실제로 강한 볼록성 가정이 필요할까, 아니면 이 조건이 완화되어도 CL 방법이 여전히 효과를 발휘하는가?

주요 결과

• MNIST-LT에서 헤드 전용 가중치와 전체 데이터셋 가중치 간 실제 거리는 이론적 상한과 매우 유사하게 나타나 정리의 타당성을 검증한다.
• CIFAR100-LT 및 CIFAR10-LT에서 CL 방법은 기준 모델보다 높은 균형 잡힌 정확도를 달성하며, 특별한 작업별 손실 수정 없이도 SOTA LTR 방법에 도달하거나 초월한다.
• 수정된 EWC CL 방법은 CIFAR100-LT에서 ResNet101 기준 87.56% 및 Inception V4 기준 88.9%의 상위-1 정확도를 기록하여 ResNet101 기준 SOTA TransTailor(87.3%)를 능가한다.
• 자연적으로 불균형한 Caltech256 데이터셋(불균형 요인 >10)에서 CL 기반 접근 방식은 최신 기술(non-CL) 모델을 능가하며 실제 적용 가능성과 효과를 입증한다.
• 강한 볼록성 가정이 완화되어도 방법이 여전히 효과를 발휘함을 통해 비볼록적인 딥 러닝 손실 함수 환경에서도 강건함을 보인다.
• GPM 기반 CL은 명시적 페널티 없이도 더 균형 잡힌 가중치 분포를 달성함을 보여주며, 이는 CL이 장수식 환경에서 본질적으로 균형 잡힌 학습을 촉진함을 시사한다.

Figure 2: The distance between $\theta^{*}$ and $\theta^{*}_{H}$ in different IF and $\mu$ .