[논문 리뷰] No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data

Mi Luo, Fei Chen외 4명|arXiv (Cornell University)|2021. 06. 09.

Privacy-Preserving Technologies in Data인용 수 130

한 줄 요약

논문은 비 IID 연합학습에서 분류기 바이어스가 주요 병목임을 보이고, 추정된 가우시안 혼합 모델에서 도출된 가상 표현을 사용한 사후 학습 보정 방법 CCVR을 제시하여 표준 벤치마크에서 정확도를 크게 향상시킨다.

ABSTRACT

A central challenge in training classification models in the real-world federated system is learning with non-IID data. To cope with this, most of the existing works involve enforcing regularization in local optimization or improving the model aggregation scheme at the server. Other works also share public datasets or synthesized samples to supplement the training of under-represented classes or introduce a certain level of personalization. Though effective, they lack a deep understanding of how the data heterogeneity affects each layer of a deep classification model. In this paper, we bridge this gap by performing an experimental analysis of the representations learned by different layers. Our observations are surprising: (1) there exists a greater bias in the classifier than other layers, and (2) the classification performance can be significantly improved by post-calibrating the classifier after federated training. Motivated by the above findings, we propose a novel and simple algorithm called Classifier Calibration with Virtual Representations (CCVR), which adjusts the classifier using virtual representations sampled from an approximated gaussian mixture model. Experimental results demonstrate that CCVR achieves state-of-the-art performance on popular federated learning benchmarks including CIFAR-10, CIFAR-100, and CINIC-10. We hope that our simple yet effective method can shed some light on the future research of federated learning with non-IID data.

연구 동기 및 목표

• 연합학습에서 데이터 이질성이 신경망 계층 간 표현에 어떤 영향을 미치는지 조사한다.
• 비 IID 데이터에서 가장 영향을 받는 계층을 식별하고 분류기가 성능을 저하시키는 원인을 진단한다.
• 편향을 완화하기 위한 간단하고 프라이버시를 보장하는 분류기 보정 방법을 제안한다.
• 가상 표현을 이용한 사후 학습 보정이 일반 벤치마크에서 최신 성능을 보여주는지 입증한다.

제안 방법

• 비 IID 데이터에서 FedAvg로 학습된 지역 모델들에 대한 Centered Kernel Alignment (CKA)를 활용한 계층별 표현의 실증 분석.
• 계층 중 분류기 계층이 교차 클라이언트 유사성이 가장 낮고 가중치 노름에 편향이 존재한다는 관찰.
• 정규화 전략(clsnorm, clsprox)과 IID 샘플을 기반으로 한 기준 비교로서의 사후 보정을 평가.
• Classifer Calibration with Virtual Representations (CCVR)를 제안하여 각 클래스의 특징 분포를 추정하고 Gaussian 혼합 모델에서 가상 특징을 샘플링하여 분류기만 재학습.
• 개인정보 보호 설계: 로컬 가우시안 통계만 업로드되며 CCVR은 사후적으로 작동하고 기존 FL 방법과 결합 가능.

실험 결과

연구 질문

• RQ1 비 IID 데이터가 다른 계층보다 분류기에서 더 많이 계층 간 표현 발산을 일으키는가?
• RQ2 교육 중이거나 학습 후에 분류기를 디바이어스하는 것이 비 IID 조건에서 글로벌 정확도를 향상시키는가?
• RQ3 합성(가상) 표현을 사용한 사후, 프라이버시 보장 보정으로 최신 성능을 달성할 수 있는가?
• RQ4 CCVR이 가장 큰 이점을 제공하는 데이터 규모 및 하이퍼파라미터는 무엇인가?

주요 결과

• 비 IID 데이터에서 더 깊은 계층의 표현이 더 발산하며, 분류기가 클라이언트 간 가장 강한 바이어스를 보인다.
• FedAvg, CIFAR-10, CIFAR-100, CINIC-10에서 분류기에 대한 사후 보정은 상당한 정확도 향상을 얻으며 다른 정규화 방법을 능가하는 경우가 많다.
• 학습 중에 분류기만 정규화하는 것이 경미한 이질성에서는 도움이 되지만 더 높은 이질성에서는 저하를 유발하고, 사후 보정은 견고하게 작동한다.
• 가 클래스 조건 가우시안 혼합 모델에서 가상 표현을 생성하는 CCVR은 기존 기본 FL 방법들(FedAvg, FedProx, MOON)에서 상당한 개선을 제공한다.
• CCVR의 효과는 학습된 특징 분포의 분리도(GMM Wasserstein 분리도)와 상관관계가 있으며 표현이 이미 강할 때 더 큰 이점을 얻는다.