[논문 리뷰] Convergence Analysis of Sequential Federated Learning on Heterogeneous Data

Yipeng Li, Xinchen Lyu|arXiv (Cornell University)|2023. 11. 06.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 이질적 데이터 상에서 순차적 피어드 페더레이티드 러닝(SFL)에 대한 최초의 수렴 분석을 수립하며, 강한 일반적이고 비볼록 목표 함수 하에서 SFL이 평행 페더레이티드 러닝(PFL)보다 더 나은 수렴을 이룬다는 것을 증명한다. 분석 결과, 극한의 데이터 이질성이 있는 크로스디바이스 환경에서 SFL이 PFL를 능가함을 보여주며, 실험을 통해 CIFAR-10과 CINIC-10에서 최대 10% 높은 테스트 정확도를 기록함을 확인하였다.

ABSTRACT

There are two categories of methods in Federated Learning (FL) for joint training across multiple clients: i) parallel FL (PFL), where clients train models in a parallel manner; and ii) sequential FL (SFL), where clients train models in a sequential manner. In contrast to that of PFL, the convergence theory of SFL on heterogeneous data is still lacking. In this paper, we establish the convergence guarantees of SFL for strongly/general/non-convex objectives on heterogeneous data. The convergence guarantees of SFL are better than that of PFL on heterogeneous data with both full and partial client participation. Experimental results validate the counterintuitive analysis result that SFL outperforms PFL on extremely heterogeneous data in cross-device settings.

연구 동기 및 목표

• 이질적 데이터 상에서 순차적 페더레이티드 러닝(SFL)에 대한 수렴 보장을 수립함으로써 이론적 이해의 격차를 메우기.
• 이질적 데이터 하에서 강한 일반적이고 비볼록 목표 함수 조건 하에서 SFL과 평행 페더레이티드 러닝(PFL)의 수렴 성능를 비교하기.
• SFL이 극한의 데이터 이질성 상황에서 PFL를 능가하는 경험적 관찰에 대한 이론적 근거를 제공하기.
• 이론 프레임워크를 확장하여 스플릿 러닝(SL)에도 적용 가능하게 하여, 수렴 결과의 적용 범위를 넓히기.

제안 방법

• 이질적 데이터 하에서 SFL에 대한 새로운 수렴 분석 프레임워크를 제안하며, 강한 볼록, 일반 볼록, 비볼록 목표 함수를 모두 포함한다.
• 각 클라이언트가 이전 클라이언트의 최신 파라미터로 초기화되며, 파라미터를 전달하기 전에 K번의 로컬 SGD 스텝을 수행하는 순차적 업데이트 규칙을 사용한다.
• 기울기 리프시츠 연속성, 분산 유한성, 클라이언트 데이터 이질성(국소 및 글로벌 기울기 간의 발산으로 측정)에 대한 가정을 사용하여 수렴 경계를 유도한다.
• 모든 클라이언트 참여 및 부분 클라이언트 참여 상황에 적용하여, SFL이 PFL보다 더 날카운 수렴 속도를 보임을 보여준다.
• 이론적 프레임워크가 스플릿 러닝(SL)에도 적용 가능함을 입증하여, 엣지 AI 시스템에 대한 적용 가능성을 넓힌다.
• 최종 모델 집합을 위해 가중 평균 전략을 사용하여, 유도된 경계 하에서 정류점으로의 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 강한 볼록 목표 함수 하에서 이질적 데이터 상에서 순차적 FL(SFL)이 평행 FL(PFL)보다 더 나은 수렴을 이룰 수 있는가?
• RQ2 일반적이고 비볼록 목표 함수 하에서 데이터 이질성이 존재할 경우 SFL은 PFL보다 어떻게 성능을 발휘하는가?
• RQ3 이질적 환경에서 전체 및 부분 클라이언트 참여 조건 하에서 SFL의 이론적 수렴 속도는 어떠한가?
• RQ4 SFL의 수렴 이론은 스플릿 러닝(SL)과 같은 다른 분산 학습 패러다임으로 확장될 수 있는가?
• RQ5 기존 연구에서 명시적인 이론적 근거 없이도 SFL이 극한의 데이터 이질성 상황에서 크로스디바이스 FL에서 PFL를 능가하는 이유는 무엇인가?

주요 결과

• SFL은 강한 볼록, 일반 볼록, 비볼록 목표 함수 전반에 걸쳐 이질적 데이터 상에서 PFL보다 더 나은 수렴 보장을 확보한다.
• 극한의 데이터 이질성이 있는 크로스디바이스 환경에서 SFL은 PFL를 능가하며, 전체 클라이언트 참여 조건 하에서 CIFAR-10과 CINIC-10에서 최대 10% 높은 테스트 정확도를 기록한다.
• MNIST와 FMNIST에서는 모든 설정에서 SFL이 PFL보다 더 높은 테스트 정확도를 달성하며, MLP와 LeNet-5 모델이 고도의 이질성 조건에서 각각 1–2% 향상된 성능을 보였다.
• CIFAR-10에서 VGG-9를 사용할 경우, K=5 및 C=2 조건에서 SFL은 82.56%의 테스트 정확도를 기록했고(PFL는 78.42%), 4.14% 향상된 성능을 보였다.
• CINIC-10에서 ResNet-18를 사용할 경우, C=2 및 K=5 조건에서 SFL은 64.17%의 테스트 정확도를 기록했고(PFL는 57.70%), 6.47% 향상된 성능을 보였다. 이는 극한의 이질성 조건에서의 뛰어난 성능을 확인한다.
• 수렴 분석 결과, SFL는 순차적 파라미터 전파 덕분에 클라이언트 드리프트를 PFL보다 더 효과적으로 줄여, 비-iid 데이터 하에서도 훈련을 안정화시킴을 확인하였다.