[논문 리뷰] Efficient Self-supervised Continual Learning with Progressive Task-correlated Layer Freezing

Li Yang, Sen Lin외 3명|arXiv (Cornell University)|2023. 03. 13.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 작업 상관관계 비율이 가장 높은 레이어를 점진적으로 고정하는 효율적인 자기지도 학습 지속 학습(PTLF) 방법을 제안한다. 이는 학습 비용과 메모리 사용량을 줄이는 데 기여한다. 실험 결과, LUMP과 같은 최신 기술 대비 12–14% 빠른 학습 속도, 23–26% 적은 메모리 사용량, 33–35% 적은 역전파 FLOPs를 기록했으며, 기억 상실 현상은 감소하고 정확도 저하 없이 성능을 유지한다.

ABSTRACT

Inspired by the success of Self-supervised learning (SSL) in learning visual representations from unlabeled data, a few recent works have studied SSL in the context of continual learning (CL), where multiple tasks are learned sequentially, giving rise to a new paradigm, namely self-supervised continual learning (SSCL). It has been shown that the SSCL outperforms supervised continual learning (SCL) as the learned representations are more informative and robust to catastrophic forgetting. However, if not designed intelligently, the training complexity of SSCL may be prohibitively high due to the inherent training cost of SSL. In this work, by investigating the task correlations in SSCL setup first, we discover an interesting phenomenon that, with the SSL-learned background model, the intermediate features are highly correlated between tasks. Based on this new finding, we propose a new SSCL method with layer-wise freezing which progressively freezes partial layers with the highest correlation ratios for each task to improve training computation efficiency and memory efficiency. Extensive experiments across multiple datasets are performed, where our proposed method shows superior performance against the SoTA SSCL methods under various SSL frameworks. For example, compared to LUMP, our method achieves 12\%/14\%/12\% GPU training time reduction, 23\%/26\%/24\% memory reduction, 35\%/34\%/33\% backward FLOPs reduction, and 1.31\%/1.98\%/1.21\% forgetting reduction without accuracy degradation on three datasets, respectively.

연구 동기 및 목표

• 자기지도 학습 지속 학습(SSCL)의 높은 계산 및 메모리 비용이 실제 응용에 제약을 주므로 이를 해결하기 위해.
• SSCL 내 작업 간 상관관계를 조사하고, 성능 저하 없이 학습 오버헤드를 줄이기 위해 이를 활용하기 위해.
• 작업 상관관계에 기반해 특정 레이어를 선택적으로 고정함으로써 학습 및 메모리 효율성을 향상시키기 위해.
• 지속적인 학습에서 치명적인 기억 상실을 완화하면서도 계산 비용을 크게 줄이기 위해.
• SSCL 표현이 지도 학습보다 공격적인 레이어 고정에 더 강건하다는 것을 입증하기 위해.

제안 방법

• 현재 작업과 이전 작업 간 유사도를 정량화하기 위해 기울기 투영 노름을 기반으로 한 작업 상관관계 비율을 도입한다.
• 레이어는 상관관계 비율에 따라 순위 매겨지고, 각 작업마다 상관관계 비율이 높은 레이어부터 내림차순으로 점진적으로 고정하여 계산량을 줄인다.
• 고정은 학습 중 레이어 단위로 적용되며, 각 작업당 상위 상관관계 레이어의 고정 비율(예: 0.4)을 고정한다.
• 기존 SSL 프레임워크(SimSiam, BarlowTwins 등)에 수정 없이 통합 가능하다.
• 고정 스케줄은 작업 간 특징 유사도에 기반해 각 작업에 맞게 적응적으로 설정되며, 고정 순서가 고정된 레이어 순서가 아니다.
• Split CIFAR-10, CIFAR-100, TinyImageNet, ImageNet-100 등 다양한 벤치마크에서 평가된다.

Figure 1: The overview of our proposed method which progressively freezes partial layers during the whole training process for each task.

실험 결과

연구 질문

• RQ1 자기지도 학습 지속 학습에서 중간 특징은 순차적 작업 간에 어떻게 상관관계를 가지는가?
• RQ2 기울기 투영에서 유도된 작업 상관관계 비율을 사용해 SSCL에서 효율적인 레이어 고정을 이끌 수 있는가?
• RQ3 높은 상관관계를 가진 레이어를 점진적으로 고정하면 학습 비용과 메모리 사용량을 줄일 수 있으며 성능을 유지할 수 있는가?
• RQ4 순서 기반 레이어 고정(예: 인덱스 순서)과 비교했을 때, 제안된 방법은 기억 상실과 정확도 측면에서 어떤가?
• RQ5 SSCL은 지도 학습보다 공격적인 레이어 고정에 더 강건한가?

주요 결과

• LUMP과 비교해, Split CIFAR-10에서는 GPU 학습 시간을 12% 단축했고, CIFAR-100에서는 14%, TinyImageNet에서는 12% 단축했다.
• CIFAR-10에서는 23% 감소, CIFAR-100에서는 26% 감소, TinyImageNet에서는 24% 감소한 메모리 사용량을 기록했으며, 정확도 저하 없이 성능을 유지했다.
• CIFAR-10에서는 35% 감소, CIFAR-100에서는 34% 감소, TinyImageNet에서는 33% 감소한 역전파 FLOPs를 기록했다.
• LUMP 대비 CIFAR-10에서는 기억 상실이 1.31% 감소했고, CIFAR-100에서는 1.98%, TinyImageNet에서는 1.21% 감소했다.
• 모든 평가된 데이터셋과 SSL 프레임워크에서 계산 및 메모리 비용을 크게 줄였지만 정확도는 유지하거나 향상시켰다.
• 레이어 고정 결정이 작업 간에 매우 일관되게 유지되어, SSCL 표현이 일반화되고 고정에 대해 강건함을 시사한다.

Figure 3: The overlap of layer selection for different tasks