[논문 리뷰] FedCon: A Contrastive Framework for Federated Semi-Supervised Learning

Zewei Long, Jiaqi Wang외 3명|arXiv (Cornell University)|2021. 09. 09.

Privacy-Preserving Technologies in Data참고 문헌 34인용 수 13

한 줄 요약

이 논문은 라벨이 서버에, 비라벨 데이터가 클라이언트에 분산되어 있는 연합 준지도 학습(FedSSL)을 위한 새로운 대비 학습 프레임워크인 FedCon을 제안한다. 두 개의 브랜치로 구성된 대비 네트워크와 모멘텀 기반 타겟 네트워크, 이중 손실 함수(교차 엔트로피 및 평균제곱오차)를 도입함으로써, 클라이언트에 분산된 비라벨 데이터를 효과적으로 활용하여, IID 및 Non-IID 설정 모두에서 MNIST, CIFAR-10, SVHN에서 최신 기준 성능(SOTA)을 달성한다.

ABSTRACT

Federated Semi-Supervised Learning (FedSSL) has gained rising attention from both academic and industrial researchers, due to its unique characteristics of co-training machine learning models with isolated yet unlabeled data. Most existing FedSSL methods focus on the classical scenario, i.e, the labeled and unlabeled data are stored at the client side. However, in real world applications, client users may not provide labels without any incentive. Thus, the scenario of labels at the server side is more practical. Since unlabeled data and labeled data are decoupled, most existing FedSSL approaches may fail to deal with such a scenario. To overcome this problem, in this paper, we propose FedCon, which introduces a new learning paradigm, i.e., contractive learning, to FedSSL. Experimental results on three datasets show that FedCon achieves the best performance with the contractive framework compared with state-of-the-art baselines under both IID and Non-IID settings. Besides, ablation studies demonstrate the characteristics of the proposed FedCon framework.

연구 동기 및 목표

• 라벨 데이터가 서버에 집중되어 있고 비라벨 데이터가 클라이언트에 분산되어 있는 실용적 상황에서 발생하는 연합 학습의 과제를 해결하기 위해.
• 기존 FedSSL 방법이 잘 다루지 못하는, 기존 준지도 학습 접근 방식에서 라벨과 비라벨 데이터가 분리되어 발생하는 성능 저하 문제를 해결하기 위해.
• 비동질적인 클라이언트에서 온 비라벨 데이터를 효과적으로 활용하면서도, Non-IID 데이터 분포 하에서 모델 일반화 능력을 유지할 수 있는 일반적이고 강건한 프레임워크를 설계하기 위해.
• 실제 세계의 데이터 분포 제약 조건이 존재하는 연합 준지도 학습 환경에서 대비 학습과 일致성 정규화의 효과를 검증하기 위해.

제안 방법

• FedCon은 클라이언트 측에서 비라벨 데이터로부터 불변 표현을 학습하기 위해 온라인 네트워크와 모멘텀 업데이트된 타겟 네트워크를 갖춘 두 개의 브랜치로 구성된 대비 네트워크 아키텍처를 사용한다.
• 클라이언트와 서버 간에 공유되는 백본 인코더를 사용하며, 클라이언트 측 모델은 동일한 입력의 증강된 쌍(양의 샘플 쌍)이 임bedding 공간에서 가까워지도록 유도하기 위해 평균제곱오차 손실을 사용한다.
• 서버 측에서는 교차 엔트로피와 일치성 정규화를 사용하여 라벨 데이터에 대해 대비 손실을 적용함으로써, 라벨 예제로부터 강건한 표현을 학습할 수 있도록 한다.
• 서버는 FedAvg를 통해 클라이언트 업데이트를 집계하고 매 라운드마다 업데이트된 글로벌 모델을 클라이언트에 재배포함으로써 클라이언트와 서버 간의 모델 정렬을 유지한다.
• 라벨 데이터(서버)와 비라벨 데이터(클라이언트)를 위한 손실 함수와 출력 헤드를 분리한 이중 상층 구조를 도입함으로써, 공유된 메인 인코더를 유지하면서도 별개의 최적화 목표를 달성할 수 있도록 한다.
• 훈련 안정성과 장기적 표현 정보 유지에 특히 중요한 데이터 이질성 하에서, 모멘텀 기반 타겟 네트워크 업데이트를 통합함으로써 훈련을 안정화시킨다.

실험 결과

연구 질문

• RQ1 라벨 데이터가 서버에 집중되어 있고 비라벨 데이터가 클라이언트에 분산되어 있을 때, 대비 학습이 연합 준지도 학습 환경에 효과적으로 적응할 수 있는가?
• RQ2 제안된 FedCon 프레임워크는 FedSSL 환경에서 데이터 이질성과 Non-IID 데이터 분포를 어떻게 다루는가?
• RQ3 서버 측에서 비라벨 데이터에 적용된 일치성 정규화는 어떤 정도의 성능 향상을 이끌어내는가?
• RQ4 교차 엔트로피 + MSE로 구성된 이중 손실 메커니즘은 연합 환경에서 표준 편의 라벨링 또는 일치 기반 SSL과 비교해 어떻게 성능을 냈는가?

주요 결과

• FedCon은 IID 및 Non-IID 데이터 설정 모두에서 MNIST, CIFAR-10, SVHN에서 기존 FedSSL 기준선을 능가하는 최신 기준 성능(SOTA)을 달성한다.
• γ=0.01(1% 라벨 데이터) 및 β=0.05(5% 비라벨 데이터) 조건에서 MNIST에서 FedCon은 일치성 손실이 있는 경우 95.55%의 테스트 정확도를 기록했으며, 이를 적용하지 않은 경우 94.68%에 그치므로, 일치성 정규화의 결정적 역할을 입증한다.
• 제거 실험 결과, 모멘텀 기반 타겟 네트워크와 이중 손실 설계가 데이터 이질성 하에서 모델의 강건성과 표현 품질을 크게 향상시킨다는 것이 확인되었다.
• 이 프레임워크는 기존 준지도 학습 방법이 연합 환경에서 라벨과 비라벨 데이터가 분리되어 발생하는 성능 저하 문제를 효과적으로 완화한다.
• 서버 측에서 비라벨 데이터에 적용된 일치성 손실은 클라이언트 측 비라벨 데이터를 넘어서 일반화 능력을 향상시키는 데 기여하는 것으로 입증되어 실용적 유용성을 입증한다.