[논문 리뷰] FedBalancer: Data and Pace Control for Efficient Federated Learning on Heterogeneous Clients

Jaemin Shin, Yuanchun Li외 2명|arXiv (Cornell University)|2022. 01. 05.

Privacy-Preserving Technologies in Data인용 수 8

한 줄 요약

FedBalancer는 클라이언트 측 샘플 선택과 적응형 딜레인트 제어를 통해 데이터와 속도를 종합적으로 최적화하는 체계적인 피어드 학습 프레임워크이다. 이는 비밀성 보장된 손실 임계값을 사용해 고유가치 샘플을 선별하고, 라운드 딜레인트를 동적으로 설정함으로써 기존 기준 FL 방법보다 1.20–4.48배 빠른 수렴 속도와 1.1–5.0% 높은 정확도를 달성한다.

ABSTRACT

Federated Learning (FL) trains a machine learning model on distributed clients without exposing individual data. Unlike centralized training that is usually based on carefully-organized data, FL deals with on-device data that are often unfiltered and imbalanced. As a result, conventional FL training protocol that treats all data equally leads to a waste of local computational resources and slows down the global learning process. To this end, we propose FedBalancer, a systematic FL framework that actively selects clients' training samples. Our sample selection strategy prioritizes more "informative" data while respecting privacy and computational capabilities of clients. To better utilize the sample selection to speed up global training, we further introduce an adaptive deadline control scheme that predicts the optimal deadline for each round with varying client training data. Compared with existing FL algorithms with deadline configuration methods, our evaluation on five datasets from three different domains shows that FedBalancer improves the time-to-accuracy performance by 1.20~4.48x while improving the model accuracy by 1.1~5.0%. We also show that FedBalancer is readily applicable to other FL approaches by demonstrating that FedBalancer improves the convergence speed and accuracy when operating jointly with three different FL algorithms.

연구 동기 및 목표

• 이질적이고 불균형한 데이터에서 모든 클라이언트 데이터를 동일하게 취급하는 전통적 FL의 비효율성을 해결하여 낭비되는 계산 자원과 느린 수렴을 방지한다.
• 데이터 공유 없이도 클라이언트의 데이터 프라이버시를 해치지 않으면서도 유의미한 샘플을 선별하는 과제를 해결한다.
• 클라이언트의 데이터 및 계산 능력에 맞춰 라운드 딜레인트를 동적으로 조정함으로써 정확도에 도달하는 데 걸리는 시간을 개선한다.
• 기존 FL 알고리즘과 호환되며 점진적으로 적용되어 수렴 속도와 모델 정확도를 향상시킬 수 있는 프레임워크를 설계한다.
• 저사양 장치가 제한된 딜레인트 내에서 고유가치 샘플에 집중함으로써 기여도를 높일 수 있도록 한다.

제안 방법

• 클라이언트가 비밀성 보장된 손실 임계값을 사용해 로컬에서 샘플의 유용성을 추정함으로써, 전체 모델 재학습 없이도 프라이버시를 보장하는 정보성 샘플 선별이 가능한 클라이언트-서버 협업 메커니즘을 제안한다.
• 손실 크기를 기반으로 한 통계적 유용성 지표를 도입하여 모델 향상에 가장 기여하는 고영향도 학습 샘플을 식별하고 우선순위를 정한다.
• 새로운 지표인 딜레인트 효율성(DDL-E)을 사용해 최적의 라운드 딜레인트를 예측하는 적응형 딜레인트 제어 전략을 설계한다. 이는 단위 시간당 완료된 클라이언트 수를 최대화하는 데 목적이 있다.
• 이중 단계 프로세스를 활용한다. 첫 번째 단계에서는 클라이언트가 각 라운드당 고유가치 샘플의 부분집합을 선별하고, 두 번째 단계에서는 서버가 클라이언트 피드백과 데이터 분포를 기반으로 최적의 딜레인트를 계산하고 브로드캐스트한다.
• 샘플 선별 및 딜레인트 제어를 핵심 집계 프로세스에서 분리함으로써 기존 FL 알고리즘과 원활하게 통합된다.
• 샘플 유용성 추정 과정에서 클라이언트 수준의 통계를 보호하기 위해 비밀성 보장 기법을 사용하여, FL의 프라이버시 설계 원칙을 준수한다.

실험 결과

연구 질문

• RQ1 이질적인 클라이언트에서 데이터 프라이버시를 해치지 않으면서도 수렴 속도를 향상시킬 수 있는 방법은 무엇인가?
• RQ2 제한된 클라이언트 계산 자원을 효율적으로 사용하면서도 모델 정확도를 유지하거나 향상시킬 수 있는 샘플 선별 전략은 무엇인가?
• RQ3 다양한 클라이언트 데이터 분포와 학습 워크로드에 맞춰 딜레인트 제어를 어떻게 동적으로 적응시킬 수 있는가? 이를 통해 각 라운드의 완료 효율성을 최대화할 수 있는가?
• RQ4 샘플 선별과 딜레인트 제어를 종합적으로 통합한 체계적 프레임워크가 기존 FL 기준선 대비 시간-정확도 성능과 모델 정확도 측면에서 얼마나 뛰어난가?
• RQ5 제안된 프레임워크는 다른 기존 FL 알고리즘과 효과적으로 조합되어 성능을 추가로 향상시킬 수 있는가?

주요 결과

• FedBalancer는 고정 또는 히우리스틱 기반 딜레인트 설정을 사용하는 기존 FL 알고리즘 대비 시간-정확도 성능을 1.20×에서 4.48×까지 향상시켰다.
• 이 프레임워크는 이동성, 교통, 의료 영상 등 다양한 분야의 다섯 개의 실세계 데이터셋에서 최종 모델 정확도를 1.1%에서 5.0%까지 향상시켰다.
• 샘플 선별을 통해 학습 기간 동안 정보가 없는 샘플 비율을 93.2%에서 20%로 감소시켜 저사양 장치에서의 학습 효율성을 크게 향상시켰다.
• DDL-E 지표에 기반한 적응형 딜레인트 제어 메커니즘은 실제 클라이언트 학습 진행 상황에 맞춰 딜레인트를 조정함으로써 클라이언트 자원의 효율적 활용과 더 빠른 글로벌 수렴을 가능하게 하였다.
• FedBalancer는 FedAvg, FedProx, FedNova와 같은 세 가지 기존 FL 알고리즘과 호환되며, 통합 시 일관된 성능 향상을 보였다.
• 비밀성 보장된 손실 임계값의 사용으로 샘플 선별 과정에서 원시 데이터나 레이블이 노출되지 않아 클라이언트 프라이버시를 유지하면서도 효과적인 유용성 추정이 가능했다.