[논문 리뷰] Resource-Constrained Decentralized Federated Learning via Personalized Event-Triggering

Shahryar Zehtabi, Seyyedali Hosseinalipour외 1명|arXiv (Cornell University)|2022. 11. 23.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 자원 제약이 있는 엣지 디바이스에서 효율성을 향상시키기 위해 개인화된 이벤트 트리거드 통신을 사용하는 자원 제약이 있는 탈중앙화된 피어드 학습 프레임워크를 제안한다. 로컬 파라미터 변화와 가용 자원에 기반해 동적으로 모델 업데이트를 트리거함으로써, 이 방법은 $ olimits\mathcal{O}(\frac{\ln k}{\sqrt{k}})$ 속도로 전역 최적 모델에 수렴하며, 기존의 탈중앙화된 FL 기준선 대비 수렴 속도와 통신 효율성에서 뛰어난 성능을 보인다.

ABSTRACT

Federated learning (FL) is a popular technique for distributing machine learning (ML) across a set of edge devices. In this paper, we study fully decentralized FL, where in addition to devices conducting training locally, they carry out model aggregations via cooperative consensus formation over device-to-device (D2D) networks. We introduce asynchronous, event-triggered communications among the devices to handle settings where access to a central server is not feasible. To account for the inherent resource heterogeneity and statistical diversity challenges in FL, we define personalized communication triggering conditions at each device that weigh the change in local model parameters against the available local network resources. We theoretically recover the $O(\ln{k} / \sqrt{k})$ convergence rate to the globally optimal model of decentralized gradient descent (DGD) methods in the setup of our methodology. We provide our convergence guarantees for the last iterates of models, under relaxed graph connectivity and data heterogeneity assumptions compared with the existing literature. To do so, we demonstrate a $B$-connected information flow guarantee in the presence of sporadic communications over the time-varying D2D graph. Our subsequent numerical evaluations demonstrate that our methodology obtains substantial improvements in convergence speed and/or communication savings compared to existing decentralized FL baselines.

연구 동기 및 목표

• 중앙 코ordinatior가 존재하지 않거나 실용적이지 않은 애드혹 및 자원 제약이 있는 엣지 네트워크에서 중심화된 피어드 학습의 한계를 해결하기 위해.
• 비동기적이고 이벤트 트리거드 모델 집계를 도입함으로써 탈중앙화된 피어드 학습에서 시간 동기화를 제거하고 부적절한 통신을 줄이기 위해.
• 로컬 모델 변화와 가용 자원에 기반한 개인화된 통신 트리거링 조건을 정의하여 기기 수준의 자원 이질성에 대응하기 위해.
• 표준 분산 학습 가정 하에 전역 최적 모델 수렴을 이론적으로 확립하기 위해.
• 기존의 탈중앙화된 피어드 학습 기준선 대비 향상된 수렴 속도와 통신 절감을 경험적으로 검증하기 위해.

제안 방법

• 기기들은 로컬 모델 학습을 수행하고, 로컬 파라미터 변화와 로컬 자원 가용성에 기반한 개인화된 이벤트 트리거링 조건이 충족될 경우에만 통신을 수행한다.
• 중앙 집중형 피어드 학습의 스타 토폴로지 대신 물리적 네트워크 그래프 기반의 한 스토프 이웃 통신을 사용하는 탈중앙화된 공감 메커니즘이 도입된다.
• 통신 트리거링 조건은 모델 업데이트의 중요성과 로컬 에너지 및 대역폭 제약 간의 균형을 맞추기 위한 임계값으로 정의된다.
• 수렴을 보장하기 위해 감소하는 스텝 사이즈 정책 $\alpha^{(k)} = \frac{\alpha^{(0)}}{(1 + \frac{k}{\gamma})^\theta}$ 가 사용되며, $\theta \in (0.5, 1]$ 이다.
• 이론적 분석은 분산 최적화 분야의 표준 가정 하에 공감 오차에 대한 로그 적분 함수와 경계를 사용하여 수렴 속도를 유도한다.
• 수치적 평가는 비독립 동일 분포가 아닌 데이터와 무작위 기하학적 통신 토폴로지를 사용하여 Fashion-MNIST에서 LeNet5를 활용해 성능을 검증한다.

실험 결과

연구 질문

• RQ1 중앙 코ordinatior나 시간 동기화에 의존하지 않고 완전히 탈중앙화된 피어드 학습 시스템을 설계할 수 있는가?
• RQ2 엣지 디바이스의 이질적인 자원 제약을 고려해 각 기기별로 개인화된 이벤트 트리거드 통신을 어떻게 설계할 수 있는가?
• RQ3 표준 가정 하에 개인화된 이벤트 트리거드 통신을 사용하는 탈중앙화된 피어드 학습 시스템의 이론적 수렴 속도는 무엇인가?
• RQ4 제안된 방법은 딥 네URAL 네트워크와 같은 비볼록 학습 설정에서도 성능 이점을 유지하는가?
• RQ5 기존의 탈중앙화된 피어드 학습 기준선 대비 수렴 속도와 통신 효율성 측면에서 제안된 방법은 어떻게 비교되는가?

주요 결과

• 표준 분산 학습 및 공감 문헌의 가정 하에 제안된 방법은 $ olimits\mathcal{O}(\frac{\ln k}{\sqrt{k}})$ 전역 수렴 속도를 달성한다.
• 개인화된 임계값에 기반해 의미 있는 모델 변화가 발생할 경우에만 전송을 트리거함으로써, 통신 오버헤드를 크게 줄였다.
• Fashion-MNIST에서 LeNet5를 사용한 수치적 평가 결과, 볼록성 가정 없이도 강력한 성능을 유지함을 확인하여 비볼록 설정에서의 강인함을 입증했다.
• 특히 자원 제약이 심하고 이질적인 환경에서 기존의 탈중앙화된 피어드 학습 기준선 대비 수렴 속도와 통신 효율성 측면에서 뛰어난 성능을 보였다.
• 이론적 분석은 감소하는 스텝 사이즈 정책을 사용할 경우 $\theta \in (0.5, 1]$ 이면 수렴이 보장되며, 이 수렴 속도는 $\theta$ 의 선택에 따라 달라진다는 것을 확인했다.
• 공감 오차를 제한하기 위해 로그 적분 함수가 사용되었으며, 이는 이방향적, 이벤트 트리거드 통신 하에서 엄밀한 이론적 수렴 분석을 가능하게 했다.