[논문 리뷰] Federated Semi-Supervised Learning with Class Distribution Mismatch

Zhiguo Wang, Xintong Wang외 2명|arXiv (Cornell University)|2021. 10. 29.

Privacy-Preserving Technologies in Data참고 문헌 46인용 수 9

한 줄 요약

이 논문은 각 클라이언트에서 레이블이 붙은 데이터와 레이블이 없는 데이터 간의 클래스 분포 불일치 문제를 다루기 위해 두 가지 정규화 항과 정규화된 평균화를 통한 분산 감소 기법을 사용하는 새로운 피드럴 반감독 학습 알고리즘을 제안한다. 비독립 동일 분포가 아닌 데이터 조건 하에서 $\mathcal{O}(1/\sqrt{T})$ 수렴 속도를 달성하며, 이는 클래스 분포 불일치가 존재하는 피드럴 반감독 학습(Fed-SSL)에 대한 첫 번째 공식적인 수렴 결과이다.

ABSTRACT

Many existing federated learning (FL) algorithms are designed for supervised learning tasks, assuming that the local data owned by the clients are well labeled. However, in many practical situations, it could be difficult and expensive to acquire complete data labels. Federated semi-supervised learning (Fed-SSL) is an attractive solution for fully utilizing both labeled and unlabeled data. Similar to that encountered in federated supervised learning, class distribution of labeled/unlabeled data could be non-i.i.d. among clients. Besides, in each client, the class distribution of labeled data may be distinct from that of unlabeled data. Unfortunately, both can severely jeopardize the FL performance. To address such challenging issues, we introduce two proper regularization terms that can effectively alleviate the class distribution mismatch problem in Fed-SSL. In addition, to overcome the non-i.i.d. data, we leverage the variance reduction and normalized averaging techniques to develop a novel Fed-SSL algorithm. Theoretically, we prove that the proposed method has a convergence rate of $\mathcal{O}(1/\sqrt{T})$, where $T$ is the number of communication rounds, even when the data distribution are non-i.i.d. among clients. To the best of our knowledge, it is the first formal convergence result for Fed-SSL problems. Numerical experiments based on MNIST data and CIFAR-10 data show that the proposed method can greatly improve the classification accuracy compared to baselines.

연구 동기 및 목표

• 레이블이 붙은 데이터와 레이블이 없는 데이터 간의 클래스 분포 불일치 문제를 해결하기 위해, 레이블이 붙은 데이터에 존재하지 않는 새로운 클래스를 포함할 수 있는 레이블이 없는 데이터가 존재하는 피드럴 반감독 학습(Fed-SSL) 환경에서의 도전 과제를 다루는 것.
• 클라이언트 간 비독립 동일 분포가 아닌 데이터 분포 조건 하에서 피드럴 반감독 학습(Fed-SSL)의 모델 일반화 능력과 강건성을 향상시키는 것.
• 레이블이 붙은 데이터와 레이블이 없는 데이터의 분포가 클라이언트별로 다를 수 있는 상황에서도 수렴이 보장되는 이론적으로 탄탄한 피드럴 반감독 학습(Fed-SSL) 알고리즘을 개발하는 것.
• 비독립 동일 분포가 아닌 데이터 조건 하에서 피드럴 평균화(FedAvg)의 느린 수렴 문제를 해결하기 위해 분산 감소 및 정규화된 평균화 기법을 통합하는 것.

제안 방법

• 각 클라이언트에서 레이블이 붙은 데이터와 레이블이 없는 데이터 간의 클래스 분포 불일치로 인한 성능 저하를 완화하기 위해 두 가지 정규화 항을 도입한다.
• 비독립 동일 분포가 아닌 환경에서의 수렴을 향상시키고 학습을 안정화하기 위해 분산 감소 및 정규화된 평균화 기법을 활용한다.
• 클라이언트 모델이 일관된 의사 레이블링과 정규화를 적용한 확률적 경사 하강법으로 업데이트되는 이중 최적화 프레임워크를 사용한다.
• 로컬 및 글로벌 모델 업데이트 간 균형을 맞추기 위해 적응형 단계 크기를 갖는 유사 프록시 업데이트 전략을 적용한다.
• 리프시츠 연속성, 강력한 볼록성, 유계 기울기 등의 가정을 바탕으로 이론적 수렴 경계를 유도한다.
• 비독립 동일 분포가 아닌 데이터 및 분포 불일치 조건 하에서 $\mathcal{O}(1/\sqrt{T})$ 수렴 속도를 확립하기 위해 새로운 분석 프레임워크를 도입한다.

실험 결과

연구 질문

• RQ1 레이블이 붙은 데이터와 레이블이 없는 데이터의 클래스 분포가 클라이언트 간에 불일치할 경우, 피드럴 반감독 학습(Fed-SSL) 알고리즘이 수렴성과 성능을 유지할 수 있는가?
• RQ2 분산 감소 및 정규화된 평균화 기법은 비독립 동일 분포가 아닌 데이터 조건 하에서 피드럴 반감독 학습(Fed-SSL)의 수렴을 어떻게 향상시키는가?
• RQ3 어떤 정규화 메커니즘이 피드럴 반감독 학습(Fed-SSL)에서 관련 없는 레이블이 없는 데이터의 부정적 영향을 효과적으로 줄이는가?
• RQ4 클래스 분포 불일치 및 비독립 동일 분포가 아닌 데이터 조건 하에서 피드럴 반감독 학습(Fed-SSL)에 대해 이론적 수렴 속도를 확보할 수 있는가?
• RQ5 제안된 방법은 정확도와 강건성 측면에서 기존의 피드럴 반감독 학습(Fed-SSL) 기반 모델들과 비교해 실제로 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 피드럴 반감독 학습(Fed-SSL) 알고리즘은 $\mathcal{O}(1/\sqrt{T})$ 수렴 속도를 달성하며, 이는 비독립 동일 분포가 아닌 데이터 및 클래스 분포 불일치 조건 하에서 피드럴 반감독 학습(Fed-SSL)에 대한 첫 번째 공식적인 수렴 결과이다.
• 기존 기반 모델들에 비해 MNIST 및 CIFAR-10 데이터셋에서 분포 불일치가 높을수록 분류 정확도가 크게 향상된다.
• 두 가지 정규화 항이 레이블이 붙은 데이터에 존재하지 않는 새로운 클래스를 포함한 레이블이 없는 데이터의 부정적 영향을 효과적으로 억제한다.
• 분산 감소 및 정규화된 평균화 기법은 비독립 동일 분포가 아닌 클라이언트 데이터 설정에서 학습을 안정화시키고 수렴 속도를 가속화한다.
• 이론적 분석을 통해 리프시츠 연속성, 유계 기울기, 정규화 항의 강력한 볼록성 등의 표준 가정 하에서 수렴이 확인된다.
• 실증 결과는 레이블이 붙지 않은 데이터에 레이블이 붙은 데이터에 존재하지 않는 클래스가 최대 30%까지 포함된 경우에도 강건성과 뛰어난 성능을 보여준다.