[논문 리뷰] Towards Flexible Device Participation in Federated Learning

Yichen Ruan, Xiaoxi Zhang외 2명|arXiv (Cornell University)|2020. 06. 12.

Privacy-Preserving Technologies in Data참고 문헌 26인용 수 33

한 줄 요약

논문은 비활동적이고 불활성, 도착, 퇴장 디바이스를 처리하도록 연합 학습을 확장하고, 비 IID 데이터 하에서 수렴 경계를 도출하며, 편향 제거, 빠른 재가동, 및 수렴 유지를 위한 적용성 조정을 제안한다.

ABSTRACT

Traditional federated learning algorithms impose strict requirements on the participation rates of devices, which limit the potential reach of federated learning. This paper extends the current learning paradigm to include devices that may become inactive, compute incomplete updates, and depart or arrive in the middle of training. We derive analytical results to illustrate how allowing more flexible device participation can affect the learning convergence when data is not independently and identically distributed (non-IID). We then propose a new federated aggregation scheme that converges even when devices may be inactive or return incomplete updates. We also study how the learning process can adapt to early departures or late arrivals, and analyze their impacts on the convergence.

연구 동기 및 목표

• 연합 학습에서 엄격한 참여 요건을 완화하여 비활성, 불완전, 도착 및 퇴장 디바이스를 허용한다.
• 유연한 참여 패턴에서 비 IID 데이터에 대한 수렴 경계를 도출한다.
• 부분 업데이트 및 디바이스 이질성으로 인한 편향을 완화하는 집계 방식을 제안한다.
• 새로운 디바이스 도착 시 빠른 재가동 메커니즘을 개발하고 디바이스 퇴장 시 모델 적용성을 재정의한다.

제안 방법

• 반 라운드 참여에 따라 달라지는 동적이고 이질적인 집계 계수를 허용하도록 FedAvg를 일반화한다.
• 부분 업데이트에 대한 편향 제거 기법을 도입하여 편향 없는 기울기 집계를 복원한다.
• 도착 디바이스의 업데이트를 강조하는 빠른 재가동 기법을 제안하여 수렴을 가속한다.
• 퇴장 또는 도착 시 목표의 변화 정의하고 수렴에 미치는 결과적 영향을 한정한다.
• 매끄러움, 강강정성, 그리고 한정된 기울기 분산의 가정 하에서 이론적 수렴 경계(Theorem 3.1, Theorem 3.2, Corollaries 4.0.1–4.0.3)를 제시한다.
• 실제 참여 추적 및 표준 데이터셋을 사용한 시뮬레이션으로 이론적 결과를 검증한다.

실험 결과

연구 질문

• RQ1 비활성, 불완전, 도착 및 퇴장이 있는 유연한 디바이스 참여가 비 IID 데이터 하에서 연합 학습의 수렴에 어떤 영향을 미치는가?
• RQ2 부분 업데이트와 이질적인 참여를 보상하면서 수렴을 유지하도록 집계 방안을 설계할 수 있는가?
• RQ3 디바이스의 도착/퇴장이 글로벌 목적에 미치는 영향은 무엇이며 모델은 어떻게 적응해야 하는가(빠른 재가동, 적용성 변경)?
• RQ4 현실적인 참여 패턴에 걸쳐 수렴을 보장하는 가장 효과적인 실용 전략은 무엇인가(편향 제거, 빠른 재가동, 적용성 결정)?

주요 결과

• 적응 계수(Scheme C)를 가진 집계 방식은 편향 없는 기울기 집계를 달성하고 이질적인 참여 하에서 수렴을 보장한다.
• 부분 업데이트나 비활성 업데이트는 집계 가중치의 편향 제거를 통해 보정되지 않으면 수렴을 저하시킨다.
• 퇴장은 목적의 변화를 유도한다; 보조정리에 변화된 최적 매개변수의 변화를 한정하고 목표를 이동시킬지 여부를 안내한다.
• 도착은 새 디바이스 정보의 강조된 업데이트로 인해 수렴이 느려질 수 있으며 빠른 재가동 업데이트로 완화된다.
• 이론적 수렴 경계는 비 IID 데이터(Gamma) 및 참여 통계(s_tau^k, p_tau^k)가 수렴 속도와 최종 손실에 어떻게 영향을 미치는지 보여준다.
• 실제 참여 추적 및 표준 데이터셋을 사용한 실증 시뮬레이션이 이론적 통찰을 뒷받침한다.