[논문 리뷰] Improving Semi-supervised Federated Learning by Reducing the Gradient Diversity of Models

Zhengming Zhang, Yaoqing Yang외 4명|arXiv (Cornell University)|2020. 08. 26.

Privacy-Preserving Technologies in Data참고 문헌 62인용 수 16

한 줄 요약

이 논문은 그룹 정규화(GN)와 군집 기반 모델 평균화 방법을 통해 경사하강의 다양성을 줄임으로써, 이전의 SSFL 방법보다 최대 18.10% 높은 테스트 정확도를 달성하는 새로운 접근법을 제안한다. 이는 낮은 통신 빈도와 높은 데이터 비독립 동일성(non-iidness) 조건에서도 현재의 감독형 FL 알고리즘을 초월한다.

ABSTRACT

Federated learning (FL) is a promising way to use the computing power of mobile devices while maintaining the privacy of users. Current work in FL, however, makes the unrealistic assumption that the users have ground-truth labels on their devices, while also assuming that the server has neither data nor labels. In this work, we consider the more realistic scenario where the users have only unlabeled data, while the server has some labeled data, and where the amount of labeled data is smaller than the amount of unlabeled data. We call this learning problem semi-supervised federated learning (SSFL). For SSFL, we demonstrate that a critical issue that affects the test accuracy is the large gradient diversity of the models from different users. Based on this, we investigate several design choices. First, we find that the so-called consistency regularization loss (CRL), which is widely used in semi-supervised learning, performs reasonably well but has large gradient diversity. Second, we find that Batch Normalization (BN) increases gradient diversity. Replacing BN with the recently-proposed Group Normalization (GN) can reduce gradient diversity and improve test accuracy. Third, we show that CRL combined with GN still has a large gradient diversity when the number of users is large. Based on these results, we propose a novel grouping-based model averaging method to replace the FedAvg averaging method. Overall, our grouping-based averaging, combined with GN and CRL, achieves better test accuracy than not just a contemporary paper on SSFL in the same settings (>10\%), but also four supervised FL algorithms.

연구 동기 및 목표

• 사용자가 레이블이 없는 데이터만 가지고 있고 서버가 소량의 레이블이 있는 데이터를 보유하는 현실적인 상황을 다루기 위해, 반감독형 페더레이티드 러닝(SSFL)을 정의한다.
• 일致성 정규화와 정규화 레이어의 맥락에서 경사하강의 다양성이 모델 성능에 미치는 영향을 조사한다.
• 경사하강의 다양성을 줄이고 테스트 정확도를 향상시키기 위해, 사용자 수가 많을 경우에도 효과적인 군집 기반 모델 평균화 기법을 제안한다.
• 현재의 SSFL 방법과 기존의 감독형 FL 알고리즘을 모두 능가하는 강력한 기준점을 설정한다.

제안 방법

• SSFL 환경에서 배치 정규화(BN)가 경사하강의 다양성을 증가시키는 것으로 밝혀져, 이를 줄이기 위해 그룹 정규화(GN)로 대체한다.
• 비정규화된 데이터를 활용하기 위해 일치성 정규화 손실(CRL)을 적용하지만, CRL만으로는 여전히 높은 경사하강의 다양성을 겪는다는 것을 확인한다.
• FedAvg를 대체하기 위해 사용자 간 유사한 모델 업데이트를 군집화한 후 집계하는 군집 기반 모델 평균화 방법을 도입하여 경사하강의 다양성을 줄인다.
• GN과 군집 기반 평균화를 CRL과 결합하여 통합된 학습 파이프라인을 구성함으로써, SSFL에서 일반화 능력과 테스트 정확도를 향상시킨다.
• 다양한 데이터셋과 환경 요인(데이터 비독립 동일성, 통신 빈도 등)을 기반으로 방법을 평가한다.
• 서버와 레이블 보유 기관을 하나의 실체로 간주하는 가상의 공재 위치 가정을 사용하여 일반성 손실 없이 수학적 공식화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 사용자가 레이블이 없는 데이터만 가지고 있고 서버가 제한된 레이블이 있는 데이터를 보유하는 반감독형 페더레이티드 러닝(SSFL) 환경에서 경사하강의 다양성은 모델 성능에 어떤 영향을 미치는가?
• RQ2 배치 정규화(BN)는 SSFL 환경에서 경사하강의 다양성을 얼마나 악화시키며, 그룹 정규화(GN)는 이를 완화할 수 있는가?
• RQ3 일치성 정규화 손실(CRL)은 SSFL에서 성능 향상에 효과적으로 기여할 수 있는가? 그리고 그 이점에도 불구하고 여전히 높은 경사하강의 다양성을 겪는가?
• RQ4 사용자 수가 많을 경우, 제안된 군집 기반 모델 평균화 방법이 FedAvg에 비해 경사하강의 다양성을 얼마나 줄이는가?
• RQ5 GN, CRL, 군집 기반 평균화의 조합은 테스트 정확도 측면에서 최신 기술 수준의 SSFL 방법과 기존의 감독형 FL 알고리즘을 모두 능가할 수 있는가?

주요 결과

• 배치 정규화(BN) 대신 그룹 정규화(GN)를 사용함으로써, SSFL 환경에서 경사하강의 다양성이 크게 감소하고 테스트 정확도가 향상된다.
• 일치성 정규화 손실(CRL)은 합리적인 테스트 정확도를 달성하지만 여전히 높은 경사하강의 다양성을 보이며, 이는 SSFL에서의 효과를 제한한다.
• GN과 CRL을 적용한 후에도 사용자 수가 많아지면 경사하강의 다양성이 여전히 높게 유지되므로, 새로운 집계 전략이 필요하다.
• 제안된 군집 기반 모델 평균화 방법은 경사하강의 다양성을 추가로 줄이며, 동일한 설정에서 현재의 SSFL 방법 대비 테스트 정확도를 14.79%에서 18.10%까지 향상시킨다.
• 낮은 통신 빈도와 높은 데이터 비독립 동일성 조건에서도, 제안된 방법은 FedAvg와 EASGD를 포함한 네 가지 감독형 FL 알고리즘을 각각 14.44%와 0.80% 높은 정확도로 능가한다.
• 제안된 방법은 감독형 FL 기준선과 비교해 유사하거나 더 높은 정확도를 달성함으로써, 현실적인 페더레이티드 러닝 환경에서의 강건성과 일반화 능력을 입증한다.