[논문 리뷰] Making Batch Normalization Great in Federated Deep Learning

Jike Zhong, Hong-You Chen외 1명|arXiv (Cornell University)|2023. 03. 12.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 비정규 분포 데이터와 높은 통신 빈도로 인한 경사 편향 및 통계적 불일치 문제를 해결함으로써 페더레이티드 러닝(FL)에서 배치 정규화(BN)의 성능을 복원하는 간단하면서도 효과적인 FixBN을 제안한다. FixBN은 추가적인 학습 또는 통신 비용 없이도 BN의 이점을 유지하며, 다양한 FL 환경에서 BN과 그룹 정규화(GN)를 모두 능가한다. 특히 저통신 빈도 및 중간 수준의 비정규 분포 환경에서 뛰어난 성능을 보인다.

ABSTRACT

Batch Normalization (BN) is widely used in {centralized} deep learning to improve convergence and generalization. However, in {federated} learning (FL) with decentralized data, prior work has observed that training with BN could hinder performance and suggested replacing it with Group Normalization (GN). In this paper, we revisit this substitution by expanding the empirical study conducted in prior work. Surprisingly, we find that BN outperforms GN in many FL settings. The exceptions are high-frequency communication and extreme non-IID regimes. We reinvestigate factors that are believed to cause this problem, including the mismatch of BN statistics across clients and the deviation of gradients during local training. We empirically identify a simple practice that could reduce the impacts of these factors while maintaining the strength of BN. Our approach, which we named FIXBN, is fairly easy to implement, without any additional training or communication costs, and performs favorably across a wide range of FL settings. We hope that our study could serve as a valuable reference for future practical usage and theoretical analysis in FL.

연구 동기 및 목표

• 페더레이티드 러닝에서 배치 정규화(BN)의 사용을 재평가하여, 일반적으로 안정성 문제가 있다고 여겨져 GN으로 대체되는 것에 도전한다.
• 특히 고통신 빈도 및 극단적인 비정규 분포 환경에서 BN의 성능 저하 원인을 규명하고 이를 해결한다.
• 수렴성과 일반화 성능의 장점을 유지하면서 FL에서 BN의 단점을 제거하는 실용적이고 경량의 솔루션을 제안한다.
• 중앙집중식과 페더레이티드 딥 러닝 간 격차를 좁히기 위해, 아키텍처나 학습 비용 변화 없이도 BN을 신뢰성 있게 사용할 수 있도록 한다.

제안 방법

• FixBN은 매 통신 라운드마다 글로벌 모델과 동기화되는 클라이언트별 이동 평균을 사용하여 로컬 학습 중 BN 레이어의 누적 통계 갱신 규칙을 수정한다.
• 이를 통해 로컬 및 글로벌 데이터 분포 간 통계적 불일치를 줄이고, BN 레이어 내의 평균 및 분산이 클라이언트 간 일관되게 갱신되도록 보장한다.
• 지연 갱신 전략을 적용한다: 로컬 누적 통계는 글로벌 모델이 집계된 후에만 갱신되며, 이는 비정규 분포 미니배치 통계로 인한 발산을 방지한다.
• FixBN은 순전파를 수정하거나 추가 파라미터가 필요로 하지 않아 기존 FL 프레임워크 및 학습 파ip라인과 호환된다.
• 이 방법은 경량이며 표준 FedAvg를 초월해 추가 통신 또는 계산 비용이 발생하지 않는다.
• 사전 학습된 모델 및 널리 사용되는 BN 기반 아키텍처(예: ResNet)와의 후행 호환성을 고려해 설계되어 원활한 통합이 가능하다.

실험 결과

연구 질문

• RQ1 어떤 FL 환경에서 배치 정규화(BN)가 그룹 정규화(GN)를 능가하고, 언제 실패하는가?
• RQ2 특히 고통신 빈도 및 극단적인 비정규 분포 상황에서 BN의 성능 저하의 주요 원인은 무엇인가?
• RQ3 모델 아키텍처나 학습 프로세스를 변경하지 않고도 BN의 경사 편향 및 통계적 불일치 문제를 완화할 수 있는가?
• RQ4 BN의 누적 통계 갱신 규칙에 대한 단순한 수정이 FL에서 BN의 성능을 복원하면서도 수렴성의 이점을 유지할 수 있는가?

주요 결과

• FixBN은 고통신 빈도 FL 환경에서 BN의 성능을 크게 향상시켜, E=1 로컬 스텝에서도 중심화된 학습 정확도를 복원한다.
• 비정규 분포 조각으로 나누어진 CIFAR-10에서 E=100일 경우, FixBN은 테스트 정확도 76.56%를 달성하여 GN(59.69%)과 표준 BN(53.97%)을 모두 능가한다.
• 저통신 라운드 환경(예: 10K라운드)에서도 FixBN은 우수한 성능(비정규 분포 CIFAR-10에서 87.71%)을 유지하며, FedAvg+BN(45.96%)과 FedAvg+GN(82.66%)을 초월한다.
• FixBN은 로컬 스텝 수(E) 증가에 따라 성능 향상을 보이며, GN과는 달리 동일한 조건에서 성능 저하가 발생하지 않는다.
• Fixup(70.66%) 및 가중치 정규화를 적용한 GN(66.90%)과 같은 대안 정규화 방법보다도 뛰어난 성능을 보이며, 그 우수성과 내구성을 입증한다.
• 추가 통신 비용이나 학습 비용 없이도 경사 편향 및 통계적 불일치 문제를 해결함으로써, 실세계 FL 구현에 실용적인 솔루션이 된다.