[논문 리뷰] Towards Flexible Device Participation in Federated Learning for Non-IID Data.

Yichen Ruan, Xiaoxi Zhang외 2명|arXiv (Cornell University)|2020. 06. 12.

Privacy-Preserving Technologies in Data참고 문헌 1인용 수 12

한 줄 요약

이 논문은 기기들이 간헐적으로 참여하거나 완전하지 않은 업데이트를 반환하거나 데이터가 비동일분포(non-IID)인 이질적인 환경에서도 수렴을 보장하는 유연한 분산 평균화 기법을 제안한다. 이러한 동적 조건 하에서의 수렴 분석을 통해, 엄격한 참여 제약 조건이 필요 없이 실제 분산 환경에서도 강력한 훈련을 가능하게 한다.

ABSTRACT

Traditional federated learning algorithms impose strict requirements on the participation rates of devices, which limit the potential reach of federated learning. In this paper, we extend the current learning paradigm and consider devices that may become inactive, compute incomplete updates, and leave or join in the middle of training. We derive analytical results to illustrate how the flexible participation of devices could affect the convergence when data is not independently and identically distributed (IID), and when devices are heterogeneous. This paper proposes a new federated aggregation scheme that converges even when devices may be inactive or return incomplete updates. We finally discuss practical research questions an operator would encounter during the training, and provide answers based on our convergence analysis.

연구 동기 및 목표

• 기존 분산 학습 기법이 높고 일관된 기기 참여율을 요구하는 한계를 해결한다.
• 간헐적 연결, 완전하지 않은 업데이트, 동적 참여/이탈 등의 실제 기기 행동을 모델링한다.
• 비동일분포 데이터와 기기 이질성 하에서의 동적 참여 조건 하에서의 수렴 성질을 분석한다.
• 기기 동적성과 데이터 왜곡에도 불구하고 모델 수렴을 유지하는 실용적인 평균화 기법을 개발한다.

제안 방법

• 기기가 비활성 상태이거나 부분적인 업데이트를 반환할 수 있는 상황을 고려해 설계된 새로운 분산 평균화 프레임워크를 도입한다.
• 비동일분포 데이터와 기기 이질성 하에서 변수적 참여를 고려한 이론적 수렴 한계를 유도한다.
• 부족하거나 부분적인 기여가 있을 경우에도 신뢰성과 완전성에 기반해 업데이트를 가중하는 적응형 평균화 메커니즘을 제안한다.
• 이론적 분석을 통해 기기 참여의 탄력성 조건 하에서도 수렴 보장을 확립한다.
• 기기 이질성과 데이터 왜곡을 수렴 모델에 통합해 실제 훈련 동적 특성을 반영한다.
• 운영자가 훈련 중 기기 참여와 업데이트 품질을 효과적으로 관리하기 위한 실용적 지침을 제공한다.

실험 결과

연구 질문

• RQ1 비동일분포 데이터를 가진 분산 학습에서 기기의 간헐적 참여나 부분적 업데이트와 같은 탄력적 참여 방식이 수렴에 어떤 영향을 미치는가?
• RQ2 기기가 훈련 도중 참여하거나 이탈하거나 부분적 업데이트를 제출할 경우, 어떤 평균화 전략이 수렴을 보장하는가?
• RQ3 기기 이질성과 데이터 비동일분포가 탄력적 참여와 어떻게 상호작용하여 모델 수렴에 영향을 미치는가?
• RQ4 실제 분산 학습 시스템에서 기기의 동적 참여를 관리할 때 운영자가 고려해야 할 실용적 고려사항은 무엇인가?

주요 결과

• 제안된 평균화 기법은 비동일분포 데이터 분포 하에서 기기가 비활성 상태거나 부분적 업데이트를 제출하더라도 수렴을 달성한다.
• 이론적 분석을 통해 기기 동적성과 데이터 이질성에도 불구하고 수렴이 유지됨을 확인한다.
• 기기 탈퇴와 부분적 업데이트에 대한 강건성을 확보하여 실생활 배포에 적합하다.
• 수렴 분석에서 유도된 실용적 지침은 운영자가 기기 참여와 업데이트 품질을 효과적으로 관리하는 데 기여한다.