[논문 리뷰] Robust Federated Learning Through Representation Matching and Adaptive Hyper-parameters

Hesham Mostafa|arXiv (Cornell University)|2019. 12. 30.

Privacy-Preserving Technologies in Data참고 문헌 29인용 수 21

한 줄 요약

이 논문은 비독립identical 분포(Non-IID) 데이터 하에서 모델 발산 문제를 해결하기 위해 표현 매칭과 REINFORCE를 통한 온라인 적응형 하이퍼파ram터 튜닝을 융합한 강건한 피어드 학습 프레임워크를 제안한다. 로컬 표현을 글로벌 모델과 정렬하고 라운드별로 하이퍼파ram터를 동적으로 최적화함으로써, 비용이 많이 들지 않고도 계산 오버헤드가 크지 않은 상황에서 특히 이질적인 데이터 설정에서 뛰어난 정확도와 안정성을 달성한다.

ABSTRACT

Federated learning is a distributed, privacy-aware learning scenario which trains a single model on data belonging to several clients. Each client trains a local model on its data and the local models are then aggregated by a central party. Current federated learning methods struggle in cases with heterogeneous client-side data distributions which can quickly lead to divergent local models and a collapse in performance. Careful hyper-parameter tuning is particularly important in these cases but traditional automated hyper-parameter tuning methods would require several training trials which is often impractical in a federated learning setting. We describe a two-pronged solution to the issues of robustness and hyper-parameter tuning in federated learning settings. We propose a novel representation matching scheme that reduces the divergence of local models by ensuring the feature representations in the global (aggregate) model can be derived from the locally learned representations. We also propose an online hyper-parameter tuning scheme which uses an online version of the REINFORCE algorithm to find a hyper-parameter distribution that maximizes the expected improvements in training loss. We show on several benchmarks that our two-part scheme of local representation matching and global adaptive hyper-parameters significantly improves performance and training robustness.

연구 동기 및 목표

• 이질적인 클라이언트 데이터 분포로 인한 피어드 학습에서의 모델 발산 문제를 해결하기 위해.
• 통신 제약이 있는 피어드 환경에서 기존의 하이퍼파aram터 튜닝 방법이 비현실적이므로 이를 극복하기 위해.
• 각 작업에 대한 수동 하이퍼파aram터 튜닝이 필요 없이 훈련의 강건성과 수렴성을 향상시키기 위해.
• 실시간으로 훈련 손실 감소를 최대화하는 스케일러블하고 온라인인 하이퍼파aram터 적응 방법을 개발하기 위해.
• 로컬 모델이 글로벌 모델의 표현 공간과 일치하도록 유지하여 치명적인 기억 상실과 성능 붕괴를 방지하기 위해.

제안 방법

• 훈련 중에 글로벌 모델의 특징 표현을 유지하도록 돕는 표현 매칭 손실을 도입하여 로컬 모델이 글로벌 모델의 표현을 보존하도록 유도한다.
• REINFORCE 알고리즘을 사용하여 하이퍼파aram터 선택을 온라인 강화학습 문제로 재구성하여 각 라운드의 손실 향상을 최대화한다.
• 클라이언트 훈련 진행 상황으로부터 실시간 피드백을 받아 매 라운드마다 학습률과 로컬 SGD 스텝 수를 동적으로 조정한다.
• 스토캐스틱 정책 그래เดียน트 업데이트를 사용하여 라운드 간 하이퍼파aram터 분포를 정교화함으로써 온라인 적응을 가능하게 한다.
• 로컬 훈련 목표에 표현 매칭 손실을 통합하여 로컬 및 글로벌 표현 간의 발산을 줄인다.
• 매 라운드 클라이언트에게 하이퍼파aram터 평균 두 개의 스칼라 값만 전송함으로써 통신 오버헤드를 극도로 낮춘다.

실험 결과

연구 질문

• RQ1 비독립identical 분포(Non-IID) 피어드 학습 환경에서 표현 매칭이 로컬 및 글로벌 모델 간의 발산을 효과적으로 줄일 수 있는가?
• RQ2 REINFORCE를 통한 온라인 적응형 하이퍼파aram터 튜닝이 고정된 하이퍼파aram터 스케줄링보다 수렴성과 정확도 측면에서 뛰어나게 작용하는가?
• RQ3 표현 매칭과 적응형 하이퍼파aram터의 조합이 다양한 데이터 분포에서 훈련의 강건성에 어떤 영향을 미치는가?
• RQ4 기본적인 FedAvg와 비교했을 때 제안된 방법의 계산 및 통신 오버헤드는 어느 정도인가?
• RQ5 완전한 재학습이나 수동 튜닝 없이도 적응형 하이퍼파aram터 정책이 해석 가능하고 효과적인 전략을 학습할 수 있는가?

주요 결과

• KWS 작업에서 Non-IID 데이터(C=1.0) 하에서 FA+RM+AH는 표준 FedAvg의 28.4%에 비해 94.4%의 정확도를 달성하여 상대적 향상률 66%를 기록했다.
• Non-IID 데이터 하에서 CIFAR10에서 FA+RM+AH는 85.2%의 정확도를 기록했으며, 동일한 설정에서 FA(72.1%)와 FA+WD(76.3%)를 크게 앞서나갔다.
• 적응형 하이퍼파aram터 방식은 고정 스케줄보다 훈련 손실 감소를 더 효과적으로 수행했으며, REINFORCE 기반 정책은 Non-IID 상황에서 학습률을 낮추는 전략을 학습했다.
• 적응형 하이퍼파aram터 튜닝의 계산 오버헤드는 모든 작업에서 2% 미만이었으며, 평균적으로 월클럭 타임이 5–10% 증가하는 데 그쳤다.
• 표현 매칭만으로도 KWS 및 CIFAR10와 같은 도전적인 작업에서 가중치 발산 페널티(FA+WD)보다 뚜렷한 성능 향상을 보였다.
• 수동 하이퍼파aram터 튜닝 없이도 Non-IID 환경에서 치명적인 훈련 실패를 방지하여 실제 환경에서 강력한 강건성을 입증했다.