[논문 리뷰] Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks

Zheng Lin, Guangyu Zhu외 5명|arXiv (Cornell University)|2023. 03. 26.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 논문은 자원이 제한된 무선 엣지 네트워크에서 분산 학습을 가속화하기 위해 클라이언트 측 학습을 병렬화하고 마지막 레이어 기반 기울기 집계를 통해 서버 측 계산을 줄이는 새로운 프레임워크인 효율적 병렬 분할 학습(EPSL)을 제안한다. 시뮬레이션 결과, 비최적화 기준선 대비 EPSL은 라운드당 학습 지연을 최대 50% 감소시키며, 서브채널 할당, 전력 제어, 컷 레이어 선택의 공동 최적화에서 뚜렷한 성능 향상을 보인다.

ABSTRACT

The increasingly deeper neural networks hinder the democratization of privacy-enhancing distributed learning, such as federated learning (FL), to resource-constrained devices. To overcome this challenge, in this paper, we advocate the integration of edge computing paradigm and parallel split learning (PSL), allowing multiple client devices to offload substantial training workloads to an edge server via layer-wise model split. By observing that existing PSL schemes incur excessive training latency and large volume of data transmissions, we propose an innovative PSL framework, namely, efficient parallel split learning (EPSL), to accelerate model training. To be specific, EPSL parallelizes client-side model training and reduces the dimension of local gradients for back propagation (BP) via last-layer gradient aggregation, leading to a significant reduction in server-side training and communication latency. Moreover, by considering the heterogeneous channel conditions and computing capabilities at client devices, we jointly optimize subchannel allocation, power control, and cut layer selection to minimize the per-round latency. Simulation results show that the proposed EPSL framework significantly decreases the training latency needed to achieve a target accuracy compared with the state-of-the-art benchmarks, and the tailored resource management and layer split strategy can considerably reduce latency than the counterpart without optimization.

연구 동기 및 목표

• 자원이 제한된 엣지 디바이스를 위한 기존 분할 학습 프레임워크에서 높은 학습 지연과 통신 오버헤드 문제를 해결한다.
• 기본 및 병렬 분할 학습의 순차적 학습과 과도한 데이터 교환의 한계를 극복한다.
• 서브채널 할당, 전력 제어, 컷 레이어 선택의 공동 최적화를 통해 무선 엣지 네트워크에서 라운드당 학습 지연을 최소화한다.
• 계산 및 대역폭 자원이 제한된 엣지 디바이스에서 효율적이고 프라이버시를 보장하는 AI 학습을 가능하게 한다.
• 동적인 무선 채널 조건과 기기 이질성에 뛰어나게 견딜 수 있는 강력하고 실용적인 솔루션을 개발한다.

제안 방법

• 레이어별 모델 분할을 통해 대부분의 학습 워크로드를 엣지 서버로 이관하는 병렬 분할 학습 프레임워크인 EPSL을 제안한다.
• 활성화 값 기울기의 차원을 줄여 서버 측 계산 및 통신 오버헤드를 크게 감소시키기 위해 마지막 레이어 기반 기울기 집계를 도입한다.
• 지연 최소화를 위해 서브채널 할당, 전력 제어, 컷 레이어 선택의 공동 최적화를 위한 혼합정수비선형계획문제를 수립한다.
• 복잡한 최적화 문제를 블록좌표강하(BCD)를 사용해 네 개의 하위문제로 분해하여 효율적인 해를 도출한다.
• 지각 지연이 오래 걸리는 디바이스를 우선순위로 배정하는 그리디 서브채널 할당 전략을 구현하여 전체 시스템의 지연을 향상시킨다.
• 학습 중에 고정된 레이어 분할 결정을 사용해 안정성을 확보하고 재최적화 오버헤드를 줄이며, 채널 변동 조건에서도 강건함을 검증한다.

실험 결과

연구 질문

• RQ1 병렬 클라이언트 측 학습과 마지막 레이어 집계를 통한 기울기 차원 감소는 분할 학습에서 학습 지연을 크게 감소시키는가?
• RQ2 서브채널 할당, 전력 제어, 컷 레이어 선택의 공동 최적화는 무선 엣지 네트워크에서 라운드당 지연에 어떤 영향을 미치는가?
• RQ3 제안된 자원 관리 전략은 이질적인 기기와 채널 조건에서 비최적화 기준선 대비 얼마나 뛰어나게 성능을 높이는가?
• RQ4 학습 중 동적인 무선 채널 변화에 대해 EPSL 프레임워크는 얼마나 강건한가?
• RQ5 지연 감소에 있어 컷 레이어 선택이 전력 제어 및 서브채널 할당에 비해 어느 정도 기여하는가?

주요 결과

• 제안된 EPSL 프레임워크는 동일한 시스템 조건에서 비최적화 기준선 대비 라운드당 학습 지연을 약 50% 감소시킨다.
• 서브채널 할당, 전력 제어, 컷 레이어 선택의 공동 최적화는 단일 구성 요소를 별도로 최적화하는 것보다 더 큰 지연 감소 효과를 낳는다.
• 전체 대역폭을 늘릴수록 학습 지연이 감소하며, 높은 대역폭에서 최적화된 솔루션과 비최적화 솔루션 간 성능 격차가 더 커지며, 이는 지각 지연이 오래 걸리는 디바이스를 더 잘 억제하기 때문이다.
• 서버의 계산 능력이 높을수록 학습 지연이 감소하며, 서버 성능이 높을수록 전력 제어 및 서브채널 할당의 이점이 더 두드러진다.
• 동적인 무선 채널 조건에서도 프레임워크는 강건하며, 라운드 간 채널 이득이 변하더라도 성능 저하가 최소한이다.
• 특히 고용량 환경에서 컷 레이어 선택 최적화가 전력 제어나 서브채널 할당 최적화보다 지연 감소에 더 큰 기여를 한다.