[논문 리뷰] No One Left Behind: Real-World Federated Class-Incremental Learning

Jiahua Dong, Li, Hongliu외 4명|arXiv (Cornell University)|2023. 02. 02.

Domain Adaptation and Few-Shot Learning인용 수 1

한 줄 요약

이 논문은 새로운 클래스가 점진적으로 도착하고 새로운 클라이언트가 비정기적으로 참여하는 실제 환경에서 치명적인 망각을 해결하기 위해 연합 클래스 증분 학습(FCIL)을 위한 국지-글로벌 망각 방지(LGA) 모델을 제안한다. 국소 망각을 완화하기 위해 카테고리 균형 임의의 기울기 보상 손실과 카테고리 기울기 유도 의미 소각 손실을 조합하며, 자기지도형 프로토타입 증강을 통해 최적의 글로벌 모델을 선택하는 프록시 서버를 활용하여 CIFAR-100에서 T=10 작업 조건 하에 평균 정확도 73.5%의 최신 기술 성능을 달성한다.

ABSTRACT

Federated learning (FL) is a hot collaborative training framework via aggregating model parameters of decentralized local clients. However, most FL methods unreasonably assume data categories of FL framework are known and fixed in advance. Moreover, some new local clients that collect novel categories unseen by other clients may be introduced to FL training irregularly. These issues render global model to undergo catastrophic forgetting on old categories, when local clients receive new categories consecutively under limited memory of storing old categories. To tackle the above issues, we propose a novel Local-Global Anti-forgetting (LGA) model. It ensures no local clients are left behind as they learn new classes continually, by addressing local and global catastrophic forgetting. Specifically, considering tackling class imbalance of local client to surmount local forgetting, we develop a category-balanced gradient-adaptive compensation loss and a category gradient-induced semantic distillation loss. They can balance heterogeneous forgetting speeds of hard-to-forget and easy-to-forget old categories, while ensure consistent class-relations within different tasks. Moreover, a proxy server is designed to tackle global forgetting caused by Non-IID class imbalance between different clients. It augments perturbed prototype images of new categories collected from local clients via self-supervised prototype augmentation, thus improving robustness to choose the best old global model for local-side semantic distillation loss. Experiments on representative datasets verify superior performance of our model against comparison methods. The code is available at https://github.com/JiahuaDong/LGA.

연구 동기 및 목표

• 새로운 클래스가 점진적으로 도착하고 새로운 클라이언트가 비정기적으로 참여하는 연합 학습 환경에서 치명적인 망각을 해결한다.
• 국소 클라이언트의 데이터 스트림에서 클래스 불균형으로 인한 국소 망각을 완화한다.
• 클라이언트 간의 Non-IID 클래스 분포로 인한 글로벌 망각을 완화한다.
• 분산된 클라이언트 간의 협업 학습을 가능하게 하면서도 기밀성을 유지한다.
• 메모리 및 데이터 제약 조건 하에서 지속적 학습에서 국소 클라이언트가 소외되지 않도록 보장한다.

제안 방법

• 각 클래스의 어려움에 따라 기울기를 동적으로 조정하는 카테고리 균형 기반 기울기 적응 보상 손실을 제안하여 오래된 카테고리 간의 이질적인 망각 속도를 균형 잡는다.
• 기울기 정보를 활용하여 작업 간 일관된 클래스 관계를 유지하는 카테고리 기울기 유도 의미 소각 손실을 도입한다.
• 자기지도형 프로토타입 증강을 사용하여 새로운 카테고리의 손상된 프로토타입 이미지를 재구성하는 프록시 서버를 설계한다.
• 프로토타입 기반 기울기 통신을 활용하여 기밀성을 유지하면서도 프록시 서버가 소각을 위한 최적의 이전 글로벌 모델을 선택할 수 있도록 한다.
• 국소 클라이언트에서 옛 카테고리의 대표 샘플을 저장하는 예시 메모리를 활용하여 국소 망각을 감소시킨다.
• 국소 및 글로벌 망각 방지 메커니즘을 통합하여 오래된 클래스와 새로운 클래스 모두에서 성능을 공동으로 향상시킨다.

실험 결과

연구 질문

• RQ1 불균형한 데이터 분포를 가진 새로운 클래스를 학습할 때 국소 클라이언트는 어떻게 치명적인 망각을 피할 수 있는가?
• RQ2 새로운 카테고리가 포함된 신규 클라이언트가 FL 시스템에 참여할 때, Non-IID 클래스 분포에 대해 글로벌 모델은 어떻게 강건성을 유지할 수 있는가?
• RQ3 원시 데이터를 폭로하지 않고 기울기 기반 프로토타입 정보만을 사용하여 프록시 서버가 최적의 이전 글로벌 모델을 효과적으로 선별할 수 있는가?
• RQ4 LGA 모델은 다양한 작업 순서에서 대규모 증분 작업 수에 걸쳐 성능을 얼마나 잘 유지하는가?
• RQ5 기존의 FCIL 베이스라인과 비교했을 때, 제안된 방법은 정확도 및 망각 완화 측면에서 어떻게 성능을 내는가?

주요 결과

• LGA 모델은 T=10개의 증분 작업 조건 하에서 CIFAR-100에서 평균 정확도 73.5%를 달성하여 베이스라인 GLFC보다 6.6%포인트 높은 성능을 보였다.
• 다양한 작업 순서에서도 일관된 성능(73.0–73.5% 정확도)을 유지하여 작업 순서 변화에 대한 강건성을 입증했다.
• T=20개 작업 조건에서는 성능이 약간 저하되었지만(70.6% 정확도), 여전히 GLFC를 평균 4.1%포인트 이상 앞서는 성능을 보였다.
• 수렴 분석 결과, 10 에포크 이내에 안정적인 학습 성능을 확보하여 효율적인 학습과 모델 안정성을 입증했다.
• 프록시 서버의 자기지도형 프로토타입 증강은 효과적인 글로벌 모델 선택을 가능하게 하여 글로벌 망각 방지 성능을 향상시켰다.
• 카테고리 균형 손실과 기울기 유도 소각 손실이 함께 작용하여 이질적인 망각 속도를 보완하고 클래스 간 관계를 유지함으로써 망각을 공동으로 감소시켰다.