[논문 리뷰] Measuring the Effects of Non-Identical Data Distribution for Federated Visual Classification

Harry Chia-Hung Hsu, Hang Qi외 1명|arXiv (Cornell University)|2019. 09. 13.

Privacy-Preserving Technologies in Data참고 문헌 12인용 수 640

한 줄 요약

이 논문은 Dirichlet 모형을 사용하여 동일하지 않은 클라이언트 데이터 분포를 합성하고 FedAvg 성능을 연구하며, 분포가 다를수록 악화됨을 보이고 이러한 격차를 완화하기 위해 서버 모멘텀(FedAvgM)을 제안한다.

ABSTRACT

Federated Learning enables visual models to be trained in a privacy-preserving way using real-world data from mobile devices. Given their distributed nature, the statistics of the data across these devices is likely to differ significantly. In this work, we look at the effect such non-identical data distributions has on visual classification via Federated Learning. We propose a way to synthesize datasets with a continuous range of identicalness and provide performance measures for the Federated Averaging algorithm. We show that performance degrades as distributions differ more, and propose a mitigation strategy via server momentum. Experiments on CIFAR-10 demonstrate improved classification performance over a range of non-identicalness, with classification accuracy improved from 30.1% to 76.9% in the most skewed settings.

연구 동기 및 목표

• 다른 클라이언트 간의 비동일한 데이터 분포가 연합 학습의 시각 분류에 어떤 영향을 미치는지 동기 부여하고 정량화한다.
• Dirichlet 사전분포를 사용하여 동일성의 연속 범위를 포괄하도록 합성 데이터 생성 방법을 개발한다.
• CIFAR-10에서 FedAvg를 다양하게 비동일성 및 하이퍼파라미터에 대해 벤치마크한다.
• 서버 측 모멘트(FedAvgM)를 도입하여 수렴 및 정확도를 개선하는 완화를 제안하고 평가한다.

제안 방법

• 클라이언트 데이터 분포를 N 클래스의 범주형으로 정의하고 Dirichlet(alpha * p)에서 샘플링한다.
• alpha를 변화시켜 동일한 데이터에서 매우 비동일한 클라이언트 데이터에 이르는 연속 스펙트럼을 생성한다.
• 고정 가중치 감소 및 LR 감소 없이, McMahan 등과 유사한 CNN을 사용하는 100개의 클라이언트, 클라이언트당 500개의 이미지, CIFAR-10을 사용한다.
• B=64, E ∈ {1,5}, C ∈ {0.05,0.1,0.2,0.4}로 10,000 라운드 동안 FedAvg를 실행하고, eta에 대해 하이퍼파라미터 탐색을 수행한다.
• 서버 측 모멘텀을 탐색한다: v <- beta v + Delta w; w <- w - v, 즉 Nesterov 모멘텀을 가진 FedAvgM.

실험 결과

연구 질문

• RQ1 클라이언트 간의 비동일한 데이터 분포가 시각 분류 작업에서 FedAvg 성능에 어떤 영향을 미치는가?
• RQ2 Dirichlet 기반의 클라이언트 데이터 분포 합성이 동일성의 연속 범위를 포착하고 하이퍼파라미터 민감도를 드러낼 수 있는가?
• RQ3 서버 모멘텀(FedAvgM)을 도입하면 데이터 비동일성으로 인한 성능 저하를 완화하는가?
• RQ4 다양한 데이터 왜곡 하에서 학습률, 모멘텀, 로컬 에포크 수, 참여 비율의 하이퍼파라미터 민감도는 어떠한가?
• RQ5 비 IID 조건에서 FedAvgM이 중앙집중 학습 성능에 얼마나 근접할 수 있는가?

주요 결과

• Dirichlet 농도 파라미터 alpha가 작아질수록(데이터가 더 비동일하게 될수록) 분류 정확도가 감소한다.
• 보고 비율 C를 증가시키면 수익이 감소하며, 특히 비동일한 데이터 하에서 동기화된 업데이트(E)는 혼합 효과를 보인다.
• FedAvgM은 비동일한 데이터에서 FedAvg보다 테스트 정확도를 지속적으로 향상시키며 종종 중앙집중 성능에 근접한다(예: 많은 경우에서 약 86.0%에 근접).
• 최적의 유효 서버 학습률 eta_eff = eta / (1 - beta)는 C와 E에 따라 달라지며, C가 클수록 더 넓고 C가 작을수록 더 타이트한 윈도우를 보인다.
• 로컬 에포크 수 E가 증가하면 업데이트 분산이 증가하여 안정성을 유지하기 위해 더 낮은 eta_eff가 필요해지며, FedAvgM이 이러한 조건에서 안정화를 돕는다.