[논문 리뷰] No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data

Mi Luo, Fei Chen외 4명|arXiv (Cornell University)|2021. 06. 09.

Privacy-Preserving Technologies in Data참고 문헌 48인용 수 39

한 줄 요약

본 논문은 비 IID 데이터가 있는 연합학습에서 분류기 계층이 편향의 주요 원인임을 보이고, 가상 가우시안 표현을 이용한 사후 학습 분류기 보정(CCVR)을 제안하여 CIFAR-10, CIFAR-100, CINIC-10에서 최첨단 성능을 달성함을 보였다.

ABSTRACT

A central challenge in training classification models in the real-world federated system is learning with non-IID data. To cope with this, most of the existing works involve enforcing regularization in local optimization or improving the model aggregation scheme at the server. Other works also share public datasets or synthesized samples to supplement the training of under-represented classes or introduce a certain level of personalization. Though effective, they lack a deep understanding of how the data heterogeneity affects each layer of a deep classification model. In this paper, we bridge this gap by performing an experimental analysis of the representations learned by different layers. Our observations are surprising: (1) there exists a greater bias in the classifier than other layers, and (2) the classification performance can be significantly improved by post-calibrating the classifier after federated training. Motivated by the above findings, we propose a novel and simple algorithm called Classifier Calibration with Virtual Representations (CCVR), which adjusts the classifier using virtual representations sampled from an approximated gaussian mixture model. Experimental results demonstrate that CCVR achieves state-of-the-art performance on popular federated learning benchmarks including CIFAR-10, CIFAR-100, and CINIC-10. We hope that our simple yet effective method can shed some light on the future research of federated learning with non-IID data.

연구 동기 및 목표

• 연합학습으로 학습된 심층 네트워크의 서로 다른 계층에 데이터 이질성이 어떻게 영향을 미치는지 조사한다.
• 비 IID 데이터 하에서 분류기 계층이 가장 강한 계층 간 발산을 나타내는 원인을 규명한다.
• 사후 학습에서 정확도를 향상시키기 위한 프라이버시를 보장하는 분류기 보정 방법을 개발한다.

제안 방법

• 모델을 특징 추출기와 선형 분류기로 분해하고 Centered Kernel Alignment(CKA)을 사용하여 계층 간 표현 유사성을 분석한다.
• 비 IID 데이터에서 분류기 계층이 클라이언트 간 표현 유사도가 가장 낮고, 분류기 가중치 노름이 편향된다고 보인다.
• 학습 중 분류기에 대한 정규화 전략(clsnorm, clsprox)과 분석을 위한 사후 학습 IID 데이터 보정(oracle)을 제안한다.
• 가상 표현을 이용한 분류기 보정(CCVR)을 도입하여 클래스별 특징 분포를 지역 통계로 추정하고, 가우시안 혼합 모델에서 가상의 특징을 샘플링한 뒤 이 가상 특징으로 분류기를 재학습한다.
• 프라이버시 보장 근거를 제시한다: CCVR은 클라이언트가 업로드한 가우시안 통계만 사용하고 원시 데이터나 특징은 사용하지 않는다.

실험 결과

연구 질문

• RQ1 비 IID 데이터가 연합학습 모델의 서로 다른 계층의 표현에 어떻게 영향을 미치는가?
• RQ2 비 IID 연합 학습에서 분류기 계층이 다른 계층보다 더 편향되어 있으며 보정으로 이 편향을 완화할 수 있는가?
• RQ3 가상 표현을 이용한 사후 프라이버시 보장형 보정이 표준 FL 벤치마크에서 정확도를 크게 향상시킬 수 있는가?
• RQ4 비 IID 조건에서 CCVR이 학습 시간 정규화 접근법과 어떻게 비교되는가?

주요 결과

• CKA 분석은 비 IID 데이터에서 분류기 계층이 클라이언트 간 표현 유사도가 가장 낮음을 보여준다.
• 샘플 수가 많은 클래스 쪽으로 분류기 가중치 노름이 편향되어 전역 성능이 저하된다.
• 경미한 이질성에서는 학습 중 분류기 보정이 도움이 되나, 강한 이질성에서는 효과가 떨어진다; 실제 데이터로의 사후 보정은 정확도를 크게 향상시킨다.
• 학습된 가우시안 혼합 모델에서 샘플링한 가상 표현을 사용하는 CCVR은 CIFAR-10, CIFAR-100, CINIC-10에서 상당한 정확도 향상을 보이며 여럿 기본 FL 방법을 능가할 수 있다.
• 제한된 보정 데이터로도 상당한 이득을 제공하며 기본 연합학습 프로세스의 변경이 필요 없다.
• CCVR 성능은 클래스 특징을 나타내는 가우시안 혼합의 분리도와 상관관계가 있으며, 더 많은 가상의 특징 수가 일반적으로 결과를 개선하고 특히 더 높은 이질성에서 그렇다.