[논문 리뷰] Dual Class-Aware Contrastive Federated Semi-Supervised Learning

Qi Guo, Yong Qi외 2명|arXiv (Cornell University)|2022. 11. 16.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 이중 클래스 인식 대비 연합 준지도 학습(Dual Class-Aware Contrastive Federated Semi-Supervised Learning, DCCFSSL)을 제안한다. 이는 레이블이 부여된 클라이언트와 부여되지 않은 클라이언트 간 모델 편차를 줄이고, 이중 클래스 인식 대비 모듈과 신원 인증 재가중 평균화를 통해 확증 편향을 완화하는 새로운 연합 준지도 학습 방법이다. DCCFSSL은 CIFAR-10, CIFAR-100, STL-10에서 레이블이 부여된 클라이언트가 10%일 뿐이어도 표준 연합 지도 학습보다 뛰어난 성능을 기록하며 최신 기술(SOTA)을 달성한다.

ABSTRACT

Federated semi-supervised learning (FSSL), facilitates labeled clients and unlabeled clients jointly training a global model without sharing private data. Existing FSSL methods predominantly employ pseudo-labeling and consistency regularization to exploit the knowledge of unlabeled data, achieving notable success in raw data utilization. However, these training processes are hindered by large deviations between uploaded local models of labeled and unlabeled clients, as well as confirmation bias introduced by noisy pseudo-labels, both of which negatively affect the global model's performance. In this paper, we present a novel FSSL method called Dual Class-aware Contrastive Federated Semi-Supervised Learning (DCCFSSL). This method accounts for both the local class-aware distribution of each client's data and the global class-aware distribution of all clients' data within the feature space. By implementing a dual class-aware contrastive module, DCCFSSL establishes a unified training objective for different clients to tackle large deviations and incorporates contrastive information in the feature space to mitigate confirmation bias. Moreover, DCCFSSL introduces an authentication-reweighted aggregation technique to improve the server's aggregation robustness. Our comprehensive experiments show that DCCFSSL outperforms current state-of-the-art methods on three benchmark datasets and surpasses the FedAvg with relabeled unlabeled clients on CIFAR-10, CIFAR-100, and STL-10 datasets. To our knowledge, we are the first to present an FSSL method that utilizes only 10\% labeled clients, while still achieving superior performance compared to standard federated supervised learning, which uses all clients with labeled data.

연구 동기 및 목표

• 레이블이 부여된 클라이언트와 부여되지 않은 클라이언트의 로컬 모델 간 큰 편차를 해결하는 것. 이는 훈련 목표의 다름과 데이터 이질성에서 기인한다.
• 일致성 정규화 동안 자기 생성된 레이블에 과적합함으로써 발생하는 노이즈가 있는 가짜 레이블로 인한 확증 편향을 완화하는 것.
• 특징 공간에서 로컬 및 글로벌 클래스 인식 분포를 정렬함으로써 레이블이 부여된 클라이언트와 부여되지 않은 클라이언트 간 효과적인 협업을 가능하게 하는 것.
• 신뢰할 수 있는 샘플 기반의 신원 인증 재가중 평균화 기반 메커니즘을 도입하여 중앙 서버의 평균화에 대한 강건성을 향상시키는 것.
• 기준 데이터셋에서 레이블이 부여된 데이터가 극히 적은 경우, 즉 10%의 레이블이 부여된 클라이언트일지라도 연합 준지도 학습이 풀 지도 학습보다 뛰어난 성능을 낼 수 있음을 입증하는 것.

제안 방법

• 각 클라이언트의 로컬 클래스 인식 분포와 모든 클라이언트 간의 글로벌 클래스 인식 분포를 특징 공간에서 모델링하는 이중 클래스 인식 대비 모듈을 도입한다.
• 로컬 프로토타입과 글로벌 프로토타입을 정렬하는 통합 대비 손실을 제안하여, 레이블이 부여된 클라이언트와 부여되지 않은 클라이언트의 모델 간 분산을 줄인다.
• 각 클래스의 대표 임베딩으로서 클래스 프로토타입을 활용하여 특징 공간 정렬을 향상시키고 일반화 성능을 향상시킨다.
• 더 높은 신뢰도(인증된) 가짜 레이블 샘플을 가진 클라이언트에게 더 높은 가중치를 할당하는 신원 인증 재가중 평균화 전략을 설계한다. 이는 서버 수준의 모델 강건성을 향상시킨다.
• 가짜 레이블링과 일치 정규화를 통합하면서도 대비 학습을 활용해 특징 표현을 정련하고 가짜 레이블의 노이즈를 줄인다.
• 모델 크기에 관계없이 클라이언트당 고정된 작은 크기의 프로토타입 표현만 추가함으로써 통신 오버헤드를 낮춘다.

실험 결과

연구 질문

• RQ1 연합 준지도 학습에서 레이블이 부여된 클라이언트와 부여되지 않은 클라이언트 간 모델 편차를 줄이기 위해 통합된 훈련 목표를 설계할 수 있는가?
• RQ2 모델 신뢰도 임계값에만 의존하지 않고, 노이즈가 있는 가짜 레이블로 인한 확증 편향을 효과적으로 완화할 수 있는가?
• RQ3 이중 클래스 인식 대비 학습 기반으로 특징 공간에서 로컬 및 글로벌 클래스 분포 간 정렬을 얼마나 향상시킬 수 있는가?
• RQ4 레이블이 부여된 클라이언트와 부여되지 않은 클라이언트의 비율이 변할 때 DCCFSSL의 성능가 어떻게 변화하는가? 특히 레이블이 극히 적은 경우에 대해 어떻게 되는가?
• RQ5 레이블이 부여된 클라이언트가 10%뿐일 때 DCCFSSL이 표준 연합 지도 학습을 능가할 수 있는가? 이때 강건성과 일반화 능력은 유지되는가?

주요 결과

• IID 설정에서 CIFAR-10에서 레이블이 부여된 클라이언트가 10%일 때 DCCFSSL은 88.47%의 정확도를 기록하며, 모든 클라이언트가 레이블이 부여된 FedAvg보다 2.92% 높은 성능을 보였다.
• CIFAR-100에서는 레이블이 부여된 클라이언트가 10%일 때 DCCFSSL이 88.36%의 정확도를 기록하며, 표준 연합 지도 학습보다 11.64% 높은 성능을 기록했다.
• 단 한 명의 레이블이 부여된 클라이언트만 존재하는 상황에서도 DCCFSSL은 IID 조건에서 CIFAR-10에서 75.76%의 정확도를 기록했고, Non-IID 조건에서는 54.84%를 기록하여 극히 적은 레이블 데이터로도 강력한 일반화 능력을 보였다.
• Non-IID 설정에서 레이블이 부여된 클라이언트가 한 명 뿐일 때 DCCFSSL은 FedAvg-SL-Lower 대비 34.81% 향상되었고, FedAvg-SL-Lower 대비 19.26% 향상되었다.
• 모든 데이터셋에서 통신 비용이 0.1848%에서 1.817%만 증가하여, 크로스실 연합 학습 환경에서 실용적임을 입증했다.
• 모든 벤치마크에서 훈련 안정성이 크게 향상되었고, AUC 및 F1 점수도 높아져 강건성과 일관성이 향상되었음을 확인했다.