[논문 리뷰] When does the student surpass the teacher? Federated Semi-supervised Learning with Teacher-Student EMA

Jessica Zhao, Sayan Ghosh외 2명|arXiv (Cornell University)|2023. 01. 24.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 KL-분산 기반 기준을 사용하여 의사 레이블 생성을 위해 교사 및 학생 모델 간에 동적으로 전환하는 새로운 피어드 세미지도 학습 프레임워크인 FedSwitch를 제안한다. 로컬 교사 적응 및 적응형 전환을 통해 FedSwitch는 비공식 데이터에 대한 정확도를 향상시키고 통신 오버헤드를 최소화하면서도 클라이언트의 프라이버시와 상태 비존재성을 유지하면서 CIFAR-10 및 Fashion MNIST에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Semi-Supervised Learning (SSL) has received extensive attention in the domain of computer vision, leading to development of promising approaches such as FixMatch. In scenarios where training data is decentralized and resides on client devices, SSL must be integrated with privacy-aware training techniques such as Federated Learning. We consider the problem of federated image classification and study the performance and privacy challenges with existing federated SSL (FSSL) approaches. Firstly, we note that even state-of-the-art FSSL algorithms can trivially compromise client privacy and other real-world constraints such as client statelessness and communication cost. Secondly, we observe that it is challenging to integrate EMA (Exponential Moving Average) updates into the federated setting, which comes at a trade-off between performance and communication cost. We propose a novel approach FedSwitch, that improves privacy as well as generalization performance through Exponential Moving Average (EMA) updates. FedSwitch utilizes a federated semi-supervised teacher-student EMA framework with two features - local teacher adaptation and adaptive switching between teacher and student for pseudo-label generation. Our proposed approach outperforms the state-of-the-art on federated image classification, can be adapted to real-world constraints, and achieves good generalization performance with minimal communication cost overhead.

연구 동기 및 목표

• 기존 피어드 세미지도 학습(FSSL) 방법에서 클라이언트 프라이버시를 해칠 수 있거나 클라이언트의 상태 유지를 전제로 하는 한계를 해결하기 위해.
• 특히 통신 비용과 모델 동기화 문제와 관련하여 피어드 환경에 지수이동평균(EMA) 업데이트를 통합하는 데 직면한 과제를 조사하기 위해.
• 실제 환경에서의 제약 조건인 데이터의 비공식성(non-IIDness)과 낮은 통신 오버헤드를 고려하여 높은 일반화 성능을 유지할 수 있는 실용적인 FSSL 프레임워크를 설계하기 위해.
• 클라이언트의 데이터 분포에 맞게 동적으로 교사 또는 학생 모델 간에 의사 레이블 생성을 위한 전환 메커니즘을 설계하기 위해.

제안 방법

• FedSwitch는 클라이언트와 서버에서 모두 글로벌 및 로컬 학생 및 교사 모델을 유지하는 피어드 교사-학생 EMA 프레임워크를 사용한다.
• 로컬 교사 모델은 EMA 업데이트를 통해 클라이언트 데이터에 적응하여 시간이 지남에 따라 학생 모델의 분포 변화를 추적할 수 있도록 한다.
• 비라벨 데이터에서 학생 모델과 교사 모델의 출력 분포 간의 분산을 평가하기 위해 KL-분산 메트릭을 사용한다.
• 이 메트릭을 바탕으로 FedSwitch는 각 클라이언트에 대해 교사 모델 또는 학생 모델을 사용하여 의사 레이블을 생성하는 것에 대해 동적으로 전환하여 비공식 조건에서 레이블 품질을 향상시킨다.
• 클라이언트 간 모델 공유를 방지함으로써 프라이버시를 보장하고, 라운드 간 클라이언트 측 모델 저장을 요구하지 않음으로써 클라이언트의 상태 비존재성을 유지한다.
• 통신 비용을 최소화하기 위해 서버로 전송되는 것은 학생 모델 가중치뿐이며, 로컬 EMA 업데이트는 클라이언트 측에서 수행된다.

실험 결과

연구 질문

• RQ1 EMA 기반 교사-학생 훈련을 통신 비용이 과도하거나 프라이버시 제약을 위반하지 않도록 피어드 세미지도 학습 환경에 효과적으로 통합할 수 있는가?
• RQ2 비공식 데이터 설정에서 교사 업데이트를 중앙 집중화하는 것(Server EMA)과 클라이언트에 분산하는 것(Client EMA) 사이의 성능 상충 관계는 어떠한가?
• RQ3 의사 레이블 생성을 위한 교사 및 학생 모델 간의 동적 전환 메커니즘이 높은 데이터 비공식성 조건에서 일반화 성능을 향상시킬 수 있는가?
• RQ4 FedSwitch는 FedMatch 및 FedProx-FixMatch와 같은 최신 기술 수준의 FSSL 방법과 비교해 정확도, 수렴 안정성, 데이터 불균형에 대한 강건성 측면에서 어떻게 성능을 내는가?
• RQ5 로컬 교사 적응이 피어드 세미지도 학습 환경에서 의사 레이블 품질과 모델 일반화에 얼마나 기여하는가?

주요 결과

• FedSwitch는 비공식 데이터 설정에서 CIFAR-10에서 최신 기술 수준의 테스트 정확도를 달성하며, FedProx-FixMatch, FedMatch 및 FedRGD를 모두 능가한다.
• FedSwitch는 클라이언트 데이터의 비공식성 수준이 증가함에 따라 뛰어난 강건성을 보이며, Dirichlet α 매개수를 0.1로 낮추어도 높은 성능을 유지한다.
• FedSwitch는 기준선 방법 대비 더 매끄러운 수렴 곡선과 낮은 모델 분산을 보이며, 더 안정적인 훈련 동역학을 나타낸다.
• KL-분산 분석 결과, 특히 높은 비공식성 조건에서 FedSwitch는 TS-Server EMA 및 TS-Client EMA보다 의사 레이블 분포를 진짜 클라이언트 데이터 분포에 더 가깝게 유지함을 확인했다.
• FedSwitch는 서버로 전송되는 것은 학생 모델 가중치뿐이므로 통신 비용을 최소화하면서도 교사 모델을 공유하거나 중앙 집중적으로 업데이트할 필요 없이 높은 성능을 달성한다.
• 동적 전환 메커니즘은 분포 이탈 조건에서 가장 신뢰할 수 있는 모델(교사 또는 학생)을 자동으로 선택하여 의사 레이블 품질을 향상시킨다.