[논문 리뷰] Split Learning over Wireless Networks: Parallel Design and Resource Management

Wen Wu, Mushu Li외 7명|arXiv (Cornell University)|2022. 04. 18.

Indoor and Outdoor Localization Technologies인용 수 9

한 줄 요약

이 논문은 클러스터 기반 병렬 분할 학습(CPSL)이라는 새로운 프레임워크를 제안한다. 이 프레임워크는 클러스터 내에서 기기 측 모델의 병렬 학습을 허용하고, 이후 클러스터 간 순차적 학습을 수행함으로써 무선 엣지 AI에서 학습 지연을 줄인다. 두 가지 시간스케일 자원 관리 알고리즘을 통해 컷 레이어 선택, 기기 클러스터링, 무선 스펙트럼 할당을 종합 최적화함으로써 CPSL는 기준 대비 최대 80.1%까지 라운드당 학습 지연을 감소시키면서도 비IIDs 데이터 상황에서도 모델 정확도를 유지한다.

ABSTRACT

Split learning (SL) is a collaborative learning framework, which can train an artificial intelligence (AI) model between a device and an edge server by splitting the AI model into a device-side model and a server-side model at a cut layer. The existing SL approach conducts the training process sequentially across devices, which incurs significant training latency especially when the number of devices is large. In this paper, we design a novel SL scheme to reduce the training latency, named Cluster-based Parallel SL (CPSL) which conducts model training in a "first-parallel-then-sequential" manner. Specifically, the CPSL is to partition devices into several clusters, parallelly train device-side models in each cluster and aggregate them, and then sequentially train the whole AI model across clusters, thereby parallelizing the training process and reducing training latency. Furthermore, we propose a resource management algorithm to minimize the training latency of CPSL considering device heterogeneity and network dynamics in wireless networks. This is achieved by stochastically optimizing the cut layer selection, real-time device clustering, and radio spectrum allocation. The proposed two-timescale algorithm can jointly make the cut layer selection decision in a large timescale and device clustering and radio spectrum allocation decisions in a small timescale. Extensive simulation results on non-independent and identically distributed data demonstrate that the proposed solutions can greatly reduce the training latency as compared with the existing SL benchmarks, while adapting to network dynamics.

연구 동기 및 목표

• 대규모 IoT 환경에서의 순차적 기기 학습으로 인한 높은 학습 지연 문제를 해결하기 위해.
• 기기 클러스터링을 통한 병렬성 도입을 통해 무선 네트워크에서의 학습 지연을 줄이면서도 모델 정확도를 유지하기 위해.
• 기기 이질성과 네트워크 동적 특성을 고려하여 컷 레이어 선택, 기기 클러스터링, 무선 스펙트럼 할당을 종합 최적화하는 이중 시간스케일 자원 관리 알고리즘을 설계하기 위해.
• 비IIDs 데이터 및 현실적인 무선 조건 하에서 CPSL의 성능과 자원 관리 알고리즘의 성능을 평가하기 위해.

제안 방법

• CPSL는 기기를 클러스터로 분할하여 각 클러스터 내에서 기기 측 모델의 병렬 학습을 가능하게 하고, 이후 클러스터 간 순차적 학습을 수행한다.
• 전체 지연을 줄이고 모델 수렴을 유지하기 위해 '먼저 병렬, 이후 순차' 학습 전략을 사용한다.
• 이중 시간스케일 자원 관리 알고리즘을 제안한다: 장기적 컷 레이어 선택과 단기적 기기 클러스터링 및 스펙트럼 할당.
• 지연과 시스템 제약 조건의 균형을 확보하기 위해 라플라스 기반 접근을 사용해 확률적 최적화를 수행한다.
• 실시간 기기 컴퓨팅 능력과 채널 조건에 기반해 기기 클러스터링을 동적으로 조정한다.
• 각 타임슬롯마다 스펙트럼 할당을 최적화하여 학습 지연을 최소화하고 스트래글러 효과를 완화한다.

실험 결과

연구 질문

• RQ1 무선 네트워크에서 대규모 수의 기기를 스케일링할 경우, 분할 학습에서의 학습 지연을 어떻게 줄일 수 있는가?
• RQ2 클러스터링된 병렬 SL 프레임워크에서 통신 오버헤드, 계산 부하, 학습 지연 간 최적의 트레이드오프는 무엇인가?
• RQ3 기기 이질성과 동적인 무선 채널 조건을 동시에 관리하여 CPSL에서 학습 지연을 최소화할 수 있는 방법은 무엇인가?
• RQ4 CPSL에서 컷 레이어 선택이 학습 지연과 모델 정확도에 미치는 영향은 무엇인가?
• RQ5 제안된 이중 시간스케일 자원 관리 알고리즘이 히우리스틱 및 무작위 클러스터링 전략 대비 지연 감소에 얼마나 효과적인가?

주요 결과

• 동일 조건 하에서 기존 SL은 13.90초, FL은 33.43초인 데 비해, 제안된 CPSL는 라운드당 학습 지연을 3.78초로 줄였다.
• 클러스터당 5대의 기기를 사용할 경우 CPSL는 가장 낮은 학습 지연을 기록하여 지연 감소를 위한 최적의 클러스터 크기를 입증했다.
• 최적의 컷 레이어(POOL1)는 통신 및 계산 부하를 균형 있게 조절하여 라운드당 학습 지연을 최소화했으며, FL 대비 97.8% 낮은 통신 오버헤드를 달성했다.
• 제안된 자원 관리 알고리즘은 히우리스틱 클러스터링 기준 대비 평균 80.1%의 학습 지연 감소를, 무작위 클러스터링 대비 56.9%의 감소를 기록했다.
• 스펙트럼 제약 조건이 있는 상황(예: 10 MHz)에서 성능 향상이 더 두드러지게 나타나, 자원 제약 하에서도 스트래글러 효과를 효과적으로 완화함을 시사했다.
• 모든 방법, 포함하여 CPSL도 MNIST 및 Fashion-MNIST 데이터셋에서 거의 동일한 모델 정확도를 달성하여 병렬화로 인한 정확도 손실가 없음을 확인했다.