[논문 리뷰] Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning

Matías Mendieta, Taojiannan Yang외 4명|arXiv (Cornell University)|2021. 11. 28.

Privacy-Preserving Technologies in Data참고 문헌 29인용 수 10

한 줄 요약

이 논문은 페더럴 러닝에서 자원 효율적인 정규화 방법인 FedAlign을 제안하며, 국소 모델의 일반화 능력을 향상시키는 데 초점을 맞추어 원거리 제약에 의존하지 않는다. 학생 모델에서 지식을 흡수하여 최종 레이어의 리프시츠 상수를 정규화함으로써 FedAlign은 시각 벤치마크에서 최신 기술(SOTA) 수준의 정확도를 달성하면서도 MOON 및 GradAug와 같은 기존 SOTA 방법 대비 계산량과 메모리 오버헤드를 각각 65% 이상, 70% 이상 감소시킨다.

ABSTRACT

Federated learning (FL) is a promising strategy for performing privacy-preserving, distributed learning with a network of clients (i.e., edge devices). However, the data distribution among clients is often non-IID in nature, making efficient optimization difficult. To alleviate this issue, many FL algorithms focus on mitigating the effects of data heterogeneity across clients by introducing a variety of proximal terms, some incurring considerable compute and/or memory overheads, to restrain local updates with respect to the global model. Instead, we consider rethinking solutions to data heterogeneity in FL with a focus on local learning generality rather than proximal restriction. To this end, we first present a systematic study informed by second-order indicators to better understand algorithm effectiveness in FL. Interestingly, we find that standard regularization methods are surprisingly strong performers in mitigating data heterogeneity effects. Based on our findings, we further propose a simple and effective method, FedAlign, to overcome data heterogeneity and the pitfalls of previous methods. FedAlign achieves competitive accuracy with state-of-the-art FL methods across a variety of settings while minimizing computation and memory overhead. Code is available at https://github.com/mmendiet/FedAlign

연구 동기 및 목표

• 페더럴 러닝에서 데이터 이질성 문제를 기존의 근접 정규화에서 국소 학습 일반화로 재정의하기.
• 높은 계산 또는 메모리 비용 없이 모델 일반화 능력을 향상시키는 효과적인 정규화 기법을 규명하기.
• 다양한 비IIDs 데이터 설정에서 높은 성능을 유지할 수 있는 경량이고 효율적인 방법 설계하기.
• 국소 학습 일반성 향상이 더 나은 글로벌 모델 수렴과 강건성으로 이어지는지 검증하기.
• 자원 효율성과 높은 정확도가 페더럴 러닝에서 상호 배타적이지 않음을 입증하기.

제안 방법

• FedAlign은 지식 정규화를 통해 신경망의 최종 블록을 정규화하며, 마지막 레이어의 표현에 대한 리프시츠 상수에 초점을 맞춘다.
• 클라이언트 모델의 특징 표현을 글로벌 티처 모델의 표현과 정렬하기 위해 학생-교수 정규화 손실을 도입한다.
• 정규화를 최종 레이어에만 적용함으로써 추가적인 계산 및 메모리 비용을 최소화한다.
• 정규화 손실은 국소 학습 중 최적화되며, 글로벌 모델에 대한 업데이트 제약보다는 일반화를 촉진한다.
• 최적의 성능를 위해 정규화 가중치(ω_S = 0.25)와 온도(μ = 0.45)와 같은 하이퍼파rameter가 조정된다.
• 이 방법은 아키텍처에 종속되지 않으며, 특징 공간에서 작동하므로 시각 작업뿐 아니라 NLP 작업에도 적용 가능하다.

실험 결과

연구 질문

• RQ1 국소 학습 일반화 능력을 향상시키는 것이 기존의 근접 정규화보다 데이터 이질성 문제 해결에 더 효과적인가?
• RQ2 비IIDs 페더럴 러닝 환경에서 성능와 계산 효율성 간의 최적 트레이드오프를 제공하는 정규화 기법은 무엇인가?
• RQ3 신경망의 최종 블록에만 정규화를 집중함으로써 자원 소비를 최소화하면서도 상당한 성능 향상을 이룰 수 있는가?
• RQ4 다양한 데이터셋에서 MOON 및 GradAug와 같은 최신 기술(SOTA) 방법과 비교해 FedAlign의 정확도 및 효율성은 어떠한가?
• RQ5 간단한 정규화 기반 방법이 계산 및 메모리 오버헤드를 줄이며 동시에 SOTA 성능을 달성할 수 있는가?

주요 결과

• FedAlign은 CIFAR-100 및 ImageNet-200에서 최신 기술(SOTA) 수준의 정확도를 달성하였으며, FedAvg보다 약 4.0% 높은 정확도를 기록했고, FLOPs는 1.02배만 증가시켰다.
• MOON보다 FedAlign은 정확도를 약 1.9% 향상시켰고, 국소 계산 오버헤드는 65% 이상, 메모리 사용량은 70% 이상 감소시켰다.
• GradAug 대비 FedAlign은 n=2일 경우 약 47% 감소, n=1일 경우 약 33% 감소한 계산 요구량을 기록했으며, 정확도 손실 없이도 성능을 유지했다.
• ImageNet-200 데이터셋에서 FedAlign은 GradAug(n=1 및 n=2)의 성능을 맞추거나 초월했고, 동시에 훨씬 낮은 자원 소비를 유지했다.
• StochDepth는 ResNet18에서 네트워크 깊이 감소로 인해 성능이 열등하여, 실질적인 페더럴 러닝 구현에서 폭 중심 정규화 기법인 FedAlign의 장점을 입증했다.
• 제거 실험 결과, 최종 레이어에 집중된 지식 정규화 기반 정규화가 효과적이며 자원 소모가 적다는 것이 확인되었으며, 특히 실제 클라이언트 샘플링 시나리오에서 뚜렷한 이점이 있다.