[논문 리뷰] A Data-Free Approach to Mitigate Catastrophic Forgetting in Federated Class Incremental Learning for Vision Tasks

Sara Babakniya, Zalan Fabian외 3명|arXiv (Cornell University)|2023. 11. 13.

Domain Adaptation and Few-Shot Learning인용 수 8

한 줄 요약

본 논문은 MFCL을 소개합니다. MFCL은 서버 측의 데이터-프리 제너레이터를 학습시켜 과거 태스크 샘플을 합성하고, 클라이언트가 오래된 데이터를 저장하지 않고도 망각을 완화할 수 있게 하는 프라이버시-보호 페더레이티드 연속 학습 프레임워크입니다. 또한 확장 가능한 페더레이티드 연속 학습을 벤치마크하기 위해 SuperImageNet을 도입합니다.

ABSTRACT

Deep learning models often suffer from forgetting previously learned information when trained on new data. This problem is exacerbated in federated learning (FL), where the data is distributed and can change independently for each user. Many solutions are proposed to resolve this catastrophic forgetting in a centralized setting. However, they do not apply directly to FL because of its unique complexities, such as privacy concerns and resource limitations. To overcome these challenges, this paper presents a framework for $ extbf{federated class incremental learning}$ that utilizes a generative model to synthesize samples from past distributions. This data can be later exploited alongside the training data to mitigate catastrophic forgetting. To preserve privacy, the generative model is trained on the server using data-free methods at the end of each task without requesting data from clients. Moreover, our solution does not demand the users to store old data or models, which gives them the freedom to join/leave the training at any time. Additionally, we introduce SuperImageNet, a new regrouping of the ImageNet dataset specifically tailored for federated continual learning. We demonstrate significant improvements compared to existing baselines through extensive experiments on multiple datasets.

연구 동기 및 목표

• 데이터 프라이버시 및 클라이언트 이탈 제약 하에서 Federated Class-Incremental Learning (Class-IL)을 동기부여한다.
• 실제 데이터를 공유하지 않고도 과거 태스크 데이터를 재생성하기 위한 데이터-프리, 서버-학습 형 생성 모델을 제안한다.
• 클라이언트가 과거 지식을 보존하면서도 새로운 태스크를 학습하도록, 오래된 데이터나 모델을 저장하지 않는다.
• 많은 클라이언트와 태스크를 통한 확장 가능한 평가를 가능하게 하는 SuperImageNet을 도입한다.

제안 방법

• 데이터-프리 방식으로 ConvNet 제너레이터 G를 학습시키는 MFCL을 제안한다. 모델 역추론 및 증류 스타일의 목표를 사용한다.
• 현재 글로벌 모델 F로 라벨링된 합성 데이터에 대해 교차 엔트로피 손실과 다양성 손실을 통해 G를 학습시켜 클래스 커버리지를 촉진한다.
• 생성기의 출력이 글로벌 모델의 BatchNorm 통계에 맞도록 배치 통계 손실을 포함하고, 자연 이미지의 매끄러움을 위한 이미지 우선 손실을 포함한다.
• 클라이언트는 현재 태스크 헤드만 업데이트하여 실제 데이터와 G로부터의 과거 태스크 샘플을 사용한 클래스-IL을 수행한다.
• 안정성-가소성 가이드 손실: 피처 증류(KD를 페넨트리지 피처에 적용) 및 현재 태스크에 한정된 목표 교차 엔트로피, 더 고정된 디스크리미네이터형 헤드를 적용한다.
• 각 태스크 말미에 서버가 글로벌 모델을 통합하고 G를 학습시키며, G와 최신/글로벌 모델을 다음 태스크를 위한 클라이언트에 공유한다.

실험 결과

연구 질문

• RQ1 데이터-프리 방식의 서버-학습 생성 재생이 FedClass-IL에서 클라이언트 데이터 노출 없이 재앙적 망각을 완화할 수 있는가?
• RQ2 제안된 MFCL 프레임워크가 표준 및 대규모 벤치마크에서 기존 페더레이티드 연속 학습 베이스라인과 어떻게 비교되는가?
• RQ3 합성 재생 생성기 및 관련 손실이 태스크 간 평균 정확도와 망각에 미치는 영향은 무엇인가?

주요 결과

• MFCL은 CIFAR-100, TinyImageNet, 및 SuperImageNet-L에서 일관되게 베이스라인을 능가하며 테스트 정확도에서 최대 25% 절대 향상을 달성한다.
• MFCL은 베이스라인에 비해 망각이 가장 작아 태스크 간 지식 보존이 더 잘 이루어진다.
• 배치 통계 손실과 다양성 손실이 성능에 필수적임을 보여주는 애블레이션 연구가 있으며, 현재 태스크의 CE, FT, KD를 포함한 모든 클라이언트 측 손실이 효율성에 기여한다.
• 이 방법은 SuperImageNet을 도입하여 일반 FL 벤치마크보다 더 많은 클라이언트와 태스크로 평가를 가능하게 하며, 실용적 확장성을 뒷받침한다.
• 제너레이터의 서버-사이드 학습은 태스크당 한 번 수행되며 클라이언트 학습에 비해 관리 가능한 오버헤드를 추가하고, 전반적으로 정확도 향상과 망각 제어를 달성한다.