[논문 리뷰] Benchmarking Semi-supervised Federated Learning

Zhang Zheng-ming, Zhewei Yao외 4명|arXiv (Cornell University)|2020. 08. 26.

Privacy-Preserving Technologies in Data참고 문헌 39인용 수 28

한 줄 요약

이 논문은 엣지 디바이스가 레이블이 없는 데이터만 보유하고 중앙 서버가 제한된 레이블된 데이터를 보유하는 반감독 학습 프레임워크를 제안한다. 이는 비i.i.d. 클래스 분포 문제를 다루며, 그룹 정규화를 사용한 일관성 손실과 새로운 그룹 기반 모델 평균화 방법을 도입하여 EMNIST에서 비그룹 기반 기준 대비 최대 10.79%의 정확도 향상을 달성한다.

ABSTRACT

Federated learning promises to use the computational power of edge devices while maintaining user data privacy. Current frameworks, however, typically make the unrealistic assumption that the data stored on user devices come with ground truth labels, while the server has no data. In this work, we consider the more realistic scenario where the users have only unlabeled data and the server has a limited amount of labeled data. In this semi-supervised federated learning (ssfl) setting, the data distribution can be non-iid, in the sense of different distributions of classes at different users. We define a metric, $R$, to measure this non-iidness in class distributions. In this setting, we provide a thorough study on different factors that can affect the final test accuracy, including algorithm design (such as training objective), the non-iidness $R$, the communication period $T$, the number of users $K$, the amount of labeled data in the server $N_s$, and the number of users $C_k\leq K$ that communicate with the server in each communication round. We evaluate our ssfl framework on Cifar-10, SVHN, and EMNIST. Overall, we find that a simple consistency loss-based method, along with group normalization, achieves better generalization performance, even compared to previous supervised federated learning settings. Furthermore, we propose a novel grouping-based model average method to improve convergence efficiency, and we show that this can boost performance by up to 10.79% on EMNIST, compared to the non-grouping based method.

연구 동기 및 목표

• 클라이언트가 레이블이 없는 데이터만 보유하고 서버가 소량의 레이블된 데이터를 보유하는 현실적인 피드어워드 학습 환경을 다루기 위해.
• 비i.i.d. 클래스 분포, 통신 주기, 클라이언트 수 등의 다양한 요소가 반감독 피드어워드 학습에서 모델 성능에 미치는 영향을 연구하기 위해.
• 실제 데이터 및 통신 제약 조건 하에서 다양한 알고리즘 설계(학습 목표 및 집계 전략)를 평가하고 비교하기 위해.
• 수렴성 및 테스트 정확도 향상을 위해 새로운 그룹 기반 모델 평균화 기법을 제안하고 검증하기 위해.

제안 방법

• 클라이언트 간 클래스 분포의 비i.i.d. 정도를 수량화하기 위해 메트릭 $ R $ 를 도입한다.
• 레이블이 없는 클라이언트 데이터를 효과적으로 활용하기 위해 일관성 손실 기반의 학습 목표를 사용한다.
• 반감독 설정에서 일반화 성능 향상을 위해 그룹 정규화를 적용한다.
• 모든 클라이언트가 아닌 특정 클라이언트 그룹의 모델만을 선택해 평균화하는 그룹 기반 모델 평균화 전략을 제안한다.
• Cifar-10, SVHN, EMNIST 데이터셋을 사용하여 비i.i.d. 정도와 레이블 부족 수준이 다양한 조건에서 프레임워크를 평가한다.
• 가변 시스템 파rameter로 통신 주기 $ T $, 클라이언트 수 $ K $, 통신 클라이언트 수 $ C_k \leq K $ 를 사용한다.

실험 결과

연구 질문

• RQ1 클래스 분포의 비i.i.d. 정도($ R $)가 반감독 피드어워드 학습에서 모델 정확도에 어떤 영향을 미치는가?
• RQ2 통신 주기 $ T $, 클라이언트 수 $ K $, 통신 클라이언트 수 $ C_k $ 가 모델 수렴성 및 성능에 어떤 영향을 미치는가?
• RQ3 제안된 그룹 기반 모델 평균화 방법은 표준 평균화 대비 정확도 및 수렴 효율성 측면에서 어떻게 비교되는가?
• RQ4 이 반감독 환경에서 그룹 정규화를 사용한 일관성 손실이 기존의 감독 피드어워드 학습 방법보다 우수한 성능을 내는가?

주요 결과

• 간단한 일관성 손실 기반 방법에 그룹 정규화를 적용한 경우, 반감독 조건 하에서도 이전의 감독 피드어워드 학습 방법보다 더 우수한 일반화 성능을 달성한다.
• 제안된 그룹 기반 모델 평균화 방법은 비그룹 기반 기준 대비 EMNIST 데이터셋에서 최대 10.79%의 테스트 정확도 향상을 이룬다.
• 클래스 분포의 비i.i.d. 정도를 측정하는 $ R $ 는 모델 성능에 상당한 영향을 미치며, $ R $ 이 클수록 일반적으로 정확도가 떨어진다.
• 통신 클라이언트 수 $ C_k $ 와 통신 주기 $ T $ 는 수렴 속도 및 최종 모델 정확도에 측정 가능한 영향을 미친다.
• 서버에 존재하는 레이블 데이터의 양($ N_s $)은 핵심적인 역할을 하며, $ N_s $ 가 증가할수록 성능 향상이 이루어지지만, 임계점을 초과하면 성능 향상 폭은 점점 감소한다.