[논문 리뷰] FLoRA: Single-shot Hyper-parameter Optimization for Federated Learning

Yi Zhou, Parikshit Ram외 4명|arXiv (Cornell University)|2021. 12. 15.

Privacy-Preserving Technologies in Data인용 수 13

한 줄 요약

FLoRA는 단일 라운드 연산으로 피어드 학습에서 최적의 하이퍼파rameter를 식별하는 단일 라운드 하이퍼파rameter 최적화 프레임워크로, 메타학습과 손실 표면 집계를 활용하여 비정규 분포 데이터 분포에서 기울기 부스팅 결합 트리 모델의 정확도를 크게 향상시키며, 통신 오버헤드를 최소화한다.

ABSTRACT

We address the relatively unexplored problem of hyper-parameter optimization (HPO) for federated learning (FL-HPO). We introduce Federated Loss suRface Aggregation (FLoRA), the first FL-HPO solution framework that can address use cases of tabular data and gradient boosting training algorithms in addition to stochastic gradient descent/neural networks commonly addressed in the FL literature. The framework enables single-shot FL-HPO, by first identifying a good set of hyper-parameters that are used in a **single** FL training. Thus, it enables FL-HPO solutions with minimal additional communication overhead compared to FL training without HPO. Our empirical evaluation of FLoRA for Gradient Boosted Decision Trees on seven OpenML data sets demonstrates significant model accuracy improvements over the considered baseline, and robustness to increasing number of parties involved in FL-HPO training.

연구 동기 및 목표

• 신경망 외의 피어드 학습을 위한 효과적인 하이퍼파ram터 최적화(HPO) 솔루션 부족 문제를 해결하기 위해, 특히 표본형 데이터와 기울기 부스팅 알고리즘에 초점을 맞춘다.
• 다중 라운드 학습이 필요 없이 단일 피어드 학습 라운드만으로도 HPO를 수행할 수 있는 단일 라운드 HPO 프레임워크를 설계한다.
• 가중치 공유나 모델 개인화 기법에 의존하지 않으며, 비독립적 데이터 분포에서도 안정성을 확보한다.
• XGBoost와 같은 SGD 기반 모델이 아닌 모델을 위한 HPO를 지원한다.
• 다중 라운드 피어드 학습이나 광범위한 모델 재학습이 필요 없는 확장성 있고 통신 효율적인 HPO를 구현한다.

제안 방법

• FLoRA는 각 클라이언트가 자체 데이터를 사용해 로컬 HPO를 독립적으로 수행하여 (하이퍼파ram터, 손실) 쌍을 생성하는 메타학습 접근법을 사용한다.
• 다양한 집계 전략(예: SGM, MPLM, APLM)을 사용해 모든 클라이언트의 로컬 손실 표면을 집계하여 글로벌 손실 표면을 구성한다.
• 집계된 손실 표면에서 Hyperopt를 사용해 최적의 하이퍼파라미터 설정을 선별한다.
• 가중치 공유를 방지하며, 기울기 부스팅 결합 트리와 같은 비신경망 모델에 적용 가능하다.
• 선택된 하이퍼파라미터로 한 번의 모델 학습만으로 단일 라운드 최적화를 달성하여 통신 비용을 기본 피어드 학습 수준으로 근접시킨다.
• 데이터 이질성 하에서의 안정성을 평가하기 위해 다양한 손실 표면 집계 전략(예: SGM, MPLM)을 평가한다.

실험 결과

연구 질문

• RQ1 다중 라운드 학습 없이 단일 라운드 HPO 프레임워크가 피어드 학습에서 의미 있는 성능 향상을 달성할 수 있는가?
• RQ2 클라이언트 간 데이터 이질성과 비독립적 데이터 분포가 증가할수록 FLoRA의 성능은 어떻게 변화하는가?
• RQ3 SGD 기반 모델이 아닌 기울기 부스팅 결합 트리에 대해 FLoRA가 하이퍼파라미터 최적화를 효과적으로 수행할 수 있는가?
• RQ4 다양한 손실 표면 집계 전략(예: SGM, MPLM)은 최종 모델의 안정성과 정확도에 어떤 영향을 미치는가?
• RQ5 참여 파arties 수가 증가할 경우, 특히 높은 데이터 불균형 상황에서 FLoRA는 성능 향상을 유지하는가?

주요 결과

• FLoRA는 기본 scikit-learn XGBoost 설정 대비 균형 정확도를 크게 향상시켜 EEG 눈동자 상태 데이터셋에서 0.9251을 기록했으며(기본값 0.8864), 성능 향상을 보였다.
• 오일 스풀 데이터셋에서 FLoRA는 SGM 집계 전략을 사용해 0.7374의 균형 정확도를 달성했으며, 기본값 0.5895 대비 25.1% 향상되었다.
• 10개의 파arties가 참여한 Pollen 데이터셋에서는 높은 데이터 이질성으로 인해 상대적 손실이 1.0을 초과하는 경우가 있었지만, MPLM 전략이 가장 우아한 성능 저하를 보였다.
• 전기 에너지 데이터셋에서는 APLM 전략을 사용해 10개 파arties 조건에서도 상대적 손실이 0.0890으로 낮게 유지되어 파arties 수 증가 및 중간 수준의 데이터 불균형에 대해 뛰어난 안정성을 입증했다.
• SGM+U 및 APLM 집계 전략는 모든 데이터셋에서 SGM 및 MPLM 전략보다 뛰어난 성능을 보였으며, 이는 손실 표면 추정의 향상으로 이어졌다.
• FLoRA는 OpenML의 7개 데이터셋 전반에서 뛰어난 성능을 기록하여 다양한 표본형 데이터 분포와 모델 설정에서의 효과성을 입증했다.