[논문 리뷰] User Selection Approaches to Mitigate the Straggler Effect for Federated Learning on Cell-Free Massive MIMO Networks.

Tung T. Vu, Duy T. Ngo외 4명|arXiv (Cornell University)|2020. 09. 04.

Privacy-Preserving Technologies in Data참고 문헌 29인용 수 12

한 줄 요약

이 논문은 셀리스 밀리미터파 MIMO 네트워크에서 피어드 페더레이티드 러닝(FL) 학습 시간을 단축하기 위해 스트래글러 효과를 줄이기 위해 사용자 단말(UE) 선택 전략을 제안한다. 스토하스틱 비볼록 최적화 프레임워크를 통해 UE 선택, 전송 전력, 데이터율을 공동 최적화함으로써 제안된 온라인 연속 볼록 근사 알고리즘은 특히 저접근점 밀도 환경에서 학습 시간을 크게 단축시킨다.

ABSTRACT

This work proposes UE selection approaches to mitigate the straggler effect for federated learning (FL) on cell-free massive multiple-input multiple-output networks. To show how these approaches work, we consider a general FL framework with UE sampling, and aim to minimize the FL training time in this framework. Here, training updates are (S1) broadcast to all the selected UEs from a central server, (S2) computed at the UEs sampled from the selected UE set, and (S3) sent back to the central server. The first approach mitigates the straggler effect in both Steps (S1) and (S3), while the second approach only Step (S3). Two optimization problems are then formulated to jointly optimize UE selection, transmit power and data rate. These mixed-integer mixed-timescale stochastic nonconvex problems capture the complex interactions among the training time, the straggler effect, and UE selection. By employing the online successive convex approximation approach, we develop a novel algorithm to solve the formulated problems with proven convergence to the neighbourhood of their stationary points. Numerical results confirm that our UE selection designs significantly reduce the training time over baseline approaches, especially in the networks that experience serious straggler effects due to the moderately low density of access points.

연구 동기 및 목표

• 느리거나 신뢰성이 떨어지는 UE로 인해 학습 수렴이 지연되는 셀리스 밀리미터파 MIMO 네트워크에서의 피어드 페더레이티드 러닝의 스트래글러 효과를 해결한다.
• 다중 시간스케일에서 UE 선택, 전송 전력, 데이터율을 최적화하여 총 FL 학습 시간을 최소화한다.
• 학습 효율성, 스트래글러 완화, 자원 할당 간의 트레이드오프를 모델링하기 위해 두 개의 혼합정수 혼합시간스케일 스토하스틱 비볼록 최적화 문제를 제안한다.
• 현실적인 네트워크 제약 조건 하에서 복잡한 최적화 문제를 해결하기 위한 확장 가능하고 수렴 보장이 되는 알고리즘을 개발한다.
• 기본 대비 제안된 UE 선택 전략의 성능 향상을 평가하며, 특히 저접근점 밀도 조건에서의 성능을 중심으로 분석한다.

제안 방법

• 중앙 서버가 선택된 UE에 모델 업데이트를 브로드캐스트하는 일반적인 FL 프레임워크를 수립한다(S1), 선택된 UE가 국지적 업데이트를 계산한다(S2), 그리고 이를 다시 전송한다(S3).
• 두 가지 UE 선택 접근법을 제안한다: S1과 S3에서 모두 스트래글러를 완화하는 방법과 S3에만 초점을 맞춘 방법으로, 복잡도와 성능 간의 탄력적인 트레이드오프를 가능하게 한다.
• UE 선택, 전력 할당, 데이터율 적응 간의 동적 상호작용을 반영하기 위해 혼합정수 혼합시간스케일 스토하스틱 비볼록 프로그래밍으로 최적화 문제를 모델링한다.
• 비볼록 문제를 반복적으로 해결하기 위해 온라인 연속 볼록 근사(OLSCA) 방법을 적용하며, 정류점 주변으로 수렴 보장을 제공한다.
• 실시간 채널 상태 정보와 UE 신뢰성에 대한 통계 지식을 통합하여 UE 선택 및 전력 제어 결정을 안내한다.
• 학습 중 UE 샘플링과 채널 변동성의 본질적 랜덤성을 다루기 위해 스토하스틱 근사 기법을 사용한다.

실험 결과

연구 질문

• RQ1 셀리스 밀리미터파 MIMO 네트워크에서 피어드 페더레이티드 러닝의 업링크 및 다운링크 단계에서 스트래글러 효과를 효과적으로 완화하기 위해 UE 선택 전략은 어떻게 설계할 수 있는가?
• RQ2 UE 선택, 전송 전력, 데이터율의 공동 최적화가 총 FL 학습 시간 단축에 미치는 영향는 어떠한가?
• RQ3 접근점 밀도가 낮은 네트워크에서 제안된 알고리즘이 어떻게 성능을 발휘하는가? 특히 스트래글러 효과가 가장 두드러지는 조건에서의 성능을 분석한다.
• RQ4 제안된 방법은 기준 UE 선택 기법 대비 얼마나 뛰어난 학습 시간 단축 성능를 보이는가?
• RQ5 제안된 비볼록 최적화 문제에 적용된 온라인 연속 볼록 근사 알고리즘은 어떤 수렴 성질을 보이는가?

주요 결과

• 제안된 UE 선택 전략은 특히 중간 수준의 낮은 접근점 밀도를 가진 네트워크에서 기준 대비 FL 학습 시간을 크게 단축시킨다.
• 업링크와 다운링크 단계에서 모두 스트래글러를 완화하는 방법이 업링크 단계에만 초점을 맞춘 방법보다 더 큰 학습 시간 단축 효과를 보인다.
• 수치 결과는 온라인 연속 볼록 근사 알고리즘이 정류점 주변으로 수렴함을 확인하여 안정적이고 신뢰할 수 있는 최적화 성능를 보장함을 입증한다.
• UE 선택, 전송 전력, 데이터율의 공동 최적화는 네트워크 자원의 더 효율적 사용과 향상된 학습 스루풋을 이끈다.
• UE 계산 능력과 채널 조건의 변동성이 높은 시나리오에서 성능 향상이 가장 두드러지며, 실제 네트워크 다이내믹스에 대한 강건성을 입증한다.
• 제안된 방법은 낮은 계산 오버헤드를 유지하면서도 상당한 학습 시간 절감을 달성하여, 대규모 셀리스 밀리미터파 MIMO 시스템의 실용적 구현에 적합하다.