[논문 리뷰] Scheduling Policy and Power Allocation for Federated Learning in NOMA Based MEC

Xiang Ma, Haijian Sun외 1명|arXiv (Cornell University)|2020. 06. 21.

Advanced Wireless Communication Technologies참고 문헌 15인용 수 9

한 줄 요약

이 논문은 대역폭 제약이 있는 무선 네트워크에서 피어드 페더레이티드 러닝(FL)의 높은 통신 오버헤드와 지연을 해결하기 위해 비직교 다중접근(NOMA) 기반 모바일 엣지 컴퓨팅(MEC) 네트워크에서 공동 스케줄링 및 전력 할당 방식을 제안한다. 사용자 스케줄링을 최대 무게 독립 집합 문제로 모델링하고 전력 할당을 최적화함으로써 기존의 TDMA 및 무작위 스케줄링 방법보다 빠른 수렴 속도와 높은 테스트 정확도를 달성하며, 최대 70%의 정확도를 10초 만에 도달하는 데 성공했고, 이는 TDMA의 경우 22초가 소요되는 것으로 비교된다.

ABSTRACT

Federated learning (FL) is a highly pursued machine learning technique that can train a model centrally while keeping data distributed. Distributed computation makes FL attractive for bandwidth limited applications especially in wireless communications. There can be a large number of distributed edge devices connected to a central parameter server (PS) and iteratively download/upload data from/to the PS. Due to the limited bandwidth, only a subset of connected devices can be scheduled in each round. There are usually millions of parameters in the state-of-art machine learning models such as deep learning, resulting in a high computation complexity as well as a high communication burden on collecting/distributing data for training. To improve communication efficiency and make the training model converge faster, we propose a new scheduling policy and power allocation scheme using non-orthogonal multiple access (NOMA) settings to maximize the weighted sum data rate under practical constraints during the entire learning process. NOMA allows multiple users to transmit on the same channel simultaneously. The user scheduling problem is transformed into a maximum-weight independent set problem that can be solved using graph theory. Simulation results show that the proposed scheduling and power allocation scheme can help achieve a higher FL testing accuracy in NOMA based wireless networks than other existing schemes.

연구 동기 및 목표

• 대역폭 제약이 있는 무선 네트워크에서 피어드 페더레이티드 러닝(FL)의 높은 통신 오버헤드와 지연 문제를 해결하기 위해.
• MEC 환경에서 동시에 업링크 전송을 가능하게 하는 NOMA를 활용하여 FL의 수렴 속도와 모델 정확도를 향상시키기 위해.
• 실제 제약 조건 하에서 사용자 스케줄링과 전력 할당을 공동으로 최적화하여 가중합 데이터 전송률을 극대화하기 위해.
• 비i.i.d. 데이터를 가진 대규모 FL 구현 환경에서 훈련 시간을 단축하고 시스템 스펙트럼 효율성을 향상시키기 위해.

제안 방법

• 서비스 품질 및 전력 제약 조건 하에서 최대 무게 합 전송률 최적화 문제로 사용자 스케줄링 및 전력 할당 문제를 수립한다.
• 그래프 이론을 활용해 사용자 스케줄링 문제를 효율적인 계산을 위해 최대 무게 독립 집합(MWIS) 문제로 변환한다.
• 각 라운드에서 동시에 전송하기 위한 최적의 사용자 하위집합을 선택하기 위해 그래프 기반 알고리즘을 적용한다.
• 개별 전력 및 신호 대 간섭 비율(SINR) 제약 조건을 충족하면서도 가중합 전송률을 극대화하기 위해 각 사용자별 전력 할당을 최적화한다.
• 통신 부하를 줄이기 위해 NOMA 업링크 전송과 모델 압축을 통합한 수정된 FedAvg 알고리즘을 활용한다.
• 비i.i.i.d. MNIST 데이터에 기반한 완전 연결형 LeNet-300-100 신경망을 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 NOMA 기반 FL에서 시스템 합계 데이터 전송률을 극대화하기 위해 사용자 스케줄링과 전력 할당을 어떻게 공동으로 최적화할 수 있는가?
• RQ2 기존의 TDMA 대비 NOMA가 FL 환경에서 통신 지연과 수렴 속도에 미치는 영향은 어떠한가?
• RQ3 그래프 이론 기반 사용자 스케줄링(MWIS)이 FL 정확도와 훈련 효율성 측면에서 무작위 또는 라운드로빈 스케줄링보다 어떻게 비교되는가?
• RQ4 실제 전력 및 채널 제약 조건 하에서 전력 할당이 FL 성능에 얼마나 기여하는가?

주요 결과

• 제안된 공동 스케줄링 및 전력 할당 방식은 10초 만에 70%의 테스트 정확도를 달성했으며, 이는 TDMA 기반 방식의 경우 22초가 소요되는 것으로 비교된다.
• 최적의 스케줄링과 전력 제어를 통한 NOMA 기반 FL은 랜덤 스케줄링에 최대 전력 할당을 적용한 모든 베이스라인 방식보다도 수렴 속도와 최종 정확도 측면에서 뛰어난 성능을 보였다.
• 동시 업링크 전송을 허용함으로써 통신 지연을 감소시켜 단위 시간당 더 많은 FL 윈도우를 수행할 수 있었다.
• 최대 무게 독립 집합 공식화를 통해 효율적인 사용자 선택이 가능해져 시스템 스펙트럼 효율성과 모델 수렴 속도가 향상되었다.
• 적절한 사용자 스케줄링과 전력 할당은 모델 정확도를 크게 향상시켰으며, 최적의 방식은 35회의 통신 라운드 후 60% 이상의 정확도를 달성했다.
• NOMA 기반 접근은 전송 시간을 K(스케줄링된 사용자 수) 배로 단축시킴으로써 TDMA와 비교해 유사하거나 더 높은 정확도를 달성했다.