[논문 리뷰] Resource-Efficient Federated Learning

Ahmed M. Abdelmoniem, Atal Narayan Sahu외 2명|arXiv (Cornell University)|2021. 11. 01.

Privacy-Preserving Technologies in Data참고 문헌 41인용 수 6

한 줄 요약

이 논문은 예측된 가용성 기반으로 참가자를 지능적으로 선택하고 지연자 업데이트를 통합함으로써 계산 낭비를 줄이고 모델 품질을 향상시키는 자원 효율적인 피어드 페더레이티드 러닝 프레임워크인 REFL을 제안한다. 업데이트 수집과 집계를 분리하고, 가용성이 높은 참가자를 우선순위로 삼음으로써 REFL은 최소한의 훈련 시간 영향을 미치면서도 더 나은 수렴성과 시스템 효율성을 달성한다.

ABSTRACT

Federated Learning (FL) enables distributed training by learners using local data, thereby enhancing privacy and reducing communication. However, it presents numerous challenges relating to the heterogeneity of the data distribution, device capabilities, and participant availability as deployments scale, which can impact both model convergence and bias. Existing FL schemes use random participant selection to improve fairness; however, this can result in inefficient use of resources and lower quality training. In this work, we systematically address the question of resource efficiency in FL, showing the benefits of intelligent participant selection, and incorporation of updates from straggling participants. We demonstrate how these factors enable resource efficiency while also improving trained model quality.

연구 동기 및 목표

• 기기 이질성과 가용성 변동으로 인한 업데이트 폐기 및 참가자 활용 미흡으로 인한 자원 낭비 문제를 해결하기 위해.
• 마감일 이후에 훈련을 완료한 지연자로부터의 업데이트를 통합하여 모델 수렴성과 시스템 효율성을 향상시키기 위해.
• 이종적인 FL 환경에서 시간-정확도 또는 모델 품질에 영향을 주지 않으면서 자원 효율성을 향상시키기 위해.
• 미래의 가용성을 예측하고 이후에 가용할 가능성이 가장 낮은 학습자를 우선순위로 삼는 참가자 선정 전략을 도입하기 위해.
• 기존의 FL 시스템과 프라이버시 보호 기법과의 호환성을 고려한 플러그인 호환성 프레임워크를 설계하기 위해.

제안 방법

• 업데이트 수집 단계를 모델 집계와 분리하여 지연자 업데이트를 비동기적으로 통합할 수 있도록 한다.
• 미래의 가용성 예측 기반으로 참가자를 지능적으로 선정하며, 가용성 확률이 낮은 참가자를 우선시하여 장기적인 자원 활용도를 극대화한다.
• 참가자의 가용성을 예측하는 모델을 사용하여, 향후 라운드에서 가용성이 낮을 것으로 예상되는 학습자를 우선순위로 삼는다.
• 시스템 효율성(빠른 완료)과 통계적 유틸리티(고품질 업데이트)를 균형 잡는 하이브리드 선정 전략을 적용한다.
• 기존의 FL 프레임워크 및 보안 집계, 차등 프라이버시와 같은 프라이버시 보호 메커니즘과의 통합을 지원한다.
• 업데이트가 시간이 지남에 따라 수집되고, 구성 가능한 윈도우 이후에만 집계되는 라운드 기반 훈련 주기 구조를 채택하여 지연되지만 유용한 기여를 가능하게 한다.

실험 결과

연구 질문

• RQ1 페더레이티드 러닝에서 참가자 선정 전략을 어떻게 최적화하여 자원 낭비를 줄이고 모델 품질을 유지할 수 있는가?
• RQ2 지연자 업데이트를 통합함으로써 모델 수렴성과 시스템 효율성은 얼마나 향상될 수 있는가?
• RQ3 참가자의 가용성 예측이 페더레이티드 러닝 시스템의 전체 자원 효율성에 어떤 영향을 미치는가?
• RQ4 업데이트 수집과 집계를 분리한 파이프라인은 가용 계산 자원의 활용도를 어떻게 향상시킬 수 있는가?
• RQ5 REFL은 기존의 참가자 선정 전략과 비교할 때 수렴 속도, 자원 사용량, 데이터 이질성에 대한 강건성 측면에서 어떻게 다른가?

주요 결과

• REFL은 기준 무작위 선정 전략 대비 자원 낭비를 최대 40%까지 줄였으며, 주로 생산성이 떨어지는 참가자에게 과도하게 할당하지 않음으로써 달성된다.
• 다양한 벤치마크 데이터셋에서 평균적으로 12%의 모델 정확도 향상을 달성했으며, 총 훈련 계산 자원이 20% 감소한 상황에서도 성능을 유지한다.
• 지연자 업데이트를 통합함으로써 업데이트를 폐기하는 시스템 대비 수렴 속도가 15% 향상된다.
• 예측된 가용성 기반 참가자 선정은 하드웨어 속도나 데이터 품질만 기반으로 한 선정 대비 가용 장치의 유효 활용도를 30% 향상시킨다.
• REFL은 기준 시스템 대비 시간-정확도를 5% 이내로 유지하면서도 총 계산 비용을 크게 줄였다.
• 프레임워크는 차등 프라이버시 및 보안 집계를 포함한 기존의 프라이버시 보호 기법과 호환되며, 성능 저하 없이 통합 가능하다.