[논문 리뷰] Training Latency Minimization for Model-Splitting Allowed Federated Edge Learning

Wen Yao, Guopeng Zhang외 2명|arXiv (Cornell University)|2023. 07. 21.

Privacy-Preserving Technologies in DataComputer Science인용 수 3

한 줄 요약

이 논문은 훈련 지연을 최소화하기 위해 컷레이어 선택과 서버 측 계산 자원 할당을 함께 최적화하는 모델 분할을 허용하는 연합 엣지 학습(SFL) 프레임워크를 제안한다. 회귀 기반 변환과 교대 최적화 알고리즘을 사용하여, 이 방법은 FedAvg 대비 훈련 지연을 57% 감소시키며, MNIST에 대한 EfficientNetV2에서 동일한 테스트 정확도를 유지한다.

ABSTRACT

To alleviate the shortage of computing power faced by clients in training deep neural networks (DNNs) using federated learning (FL), we leverage the edge computing and split learning to propose a model-splitting allowed FL (SFL) framework, with the aim to minimize the training latency without loss of test accuracy. Under the synchronized global update setting, the latency to complete a round of global training is determined by the maximum latency for the clients to complete a local training session. Therefore, the training latency minimization problem (TLMP) is modelled as a minimizing-maximum problem. To solve this mixed integer nonlinear programming problem, we first propose a regression method to fit the quantitative-relationship between the cut-layer and other parameters of an AI-model, and thus, transform the TLMP into a continuous problem. Considering that the two subproblems involved in the TLMP, namely, the cut-layer selection problem for the clients and the computing resource allocation problem for the parameter-server are relative independence, an alternate-optimization-based algorithm with polynomial time complexity is developed to obtain a high-quality solution to the TLMP. Extensive experiments are performed on a popular DNN-model EfficientNetV2 using dataset MNIST, and the results verify the validity and improved performance of the proposed SFL framework.

연구 동기 및 목표

• 제한된 클라이언트 계산 성능과 증가하는 모델 복잡성으로 인한 연합 학습에서의 높은 훈련 지연 문제를 해결한다.
• 분할 학습에서 최적의 컷레이어 선택을 위한 이산적이고 고도로 복잡한 해 공간을 극복하기 위해, 컷레이어와 모델 파라미터 간의 정량적 관계를 모델링한다.
• 이종 클라이언트 간의 워크로드를 균형 잡고 동기화된 글로벌 훈련 라운드에서의 병목 현상을 최소화하기 위해 서버 측 계산 자원 할당을 최적화한다.
• 테스트 정확도를 희생시키지 않은 채 동기화된 글로벌 모델 업데이트(SGMU) 환경에서 전체 훈련 지연을 최소화한다.
• 실제로 사용 가능한 혼합정수비선형계획문제(MINLP)를 해결하기 위한 효율적인 다항식 시간 알고리즘을 개발한다.

제안 방법

• 컷레이어 위치와 핵심 모델 파라미터(예: 레이어 수, 파라미터 수, FLOPs) 간의 정량적 관계를 모델링하기 위한 회귀 방법을 제안하여, 이산적 컷레이어 선택 문제를 연속 최적화 문제로 변환한다.
• 훈련 지연 최소화 문제(TLMP)를 최대 지연을 최소화하는 문제로 공식화하며, 지연은 가장 느린 클라이언트가 로컬 훈련을 완료하는 데 소요되는 시간에 의해 결정된다.
• TLMP를 두 개의 독립적인 하위문제로 분해한다: 클라이언트의 컷레이어 선택과 파라미터 서버(PS)의 계산 자원 할당으로, 교대 최적화를 가능하게 한다.
• 다항식 시간 복잡도를 가진 교대 최적화 기반 알고리즘을 설계하여, 반복적으로 컷레이어 선택과 자원 할당을 향상시키며 수렴을 보장한다.
• PS의 고성능 계산 능력을 활용하여 자원이 제한된 클라이언트로부터 계산을 오프로드하고, 병렬로 여러 서버 측 모델을 훈련한다.
• 회귀 모델을 최적화 프레임워크와 통합하여, 큰 이산 해 공간에서 스케일러블하고 효율적인 해 탐색을 가능하게 한다.

Figure 1: The frameworks of FedAvg and SFL .

실험 결과

연구 질문

• RQ1 분할 학습에서 컷레이어 선택을 어떻게 최적화하여 훈련 지연을 최소화하면서도 모델 정확도를 유지할 수 있는가?
• RQ2 이종 클라이언트 환경에서 파라미터 서버의 계산 자원 할당이 전체 훈련 지연에 어떤 영향을 미치는가?
• RQ3 이산적 컷레이어 선택 문제에 대한 연속적 근사가 연합 엣지 학습에서 효율적이고 확장 가능한 최적화를 가능하게 하는가?
• RQ4 동기화된 글로벌 업데이트 조건 하에서 제안된 프레임워크는 FedAvg에 비해 훈련 지연과 테스트 정확도 측면에서 어떻게 비교되는가?
• RQ5 서버 측 계산 자원을 늘릴 경우 훈련 지연 감소에 어떤 여유 기여를 하는가? 그리고 수익 감소의 기준은 어디에 위치하는가?

주요 결과

• 제안된 SFL 프레임워크는 FedAvg 대비 훈련 지연을 57% 감소시켰으며, 동일한 환경에서 SFL은 1라운드를 410초에 완료한 반면 FedAvg는 980초가 소요되었다.
• 교대 최적화 알고리즘은 약 5회 반복 이내에 안정된 해에 수렴하여 낮은 계산 오버헤드와 빠른 수렴을 보였다.
• 서버 측 계산 자원이 100 G FLOPs에서 2,000 G FLOPs로 증가함에 따라 훈련 지연이 크게 감소하지만, 그 이상으로는 개선 속도가 둔화되는 경향을 보였다.
• SFL을 통해 훈련된 EfficientNetV2 모델의 테스트 정확도는 60개의 글로벌 라운드 후 0.90에 도달하였으며, 이는 FedAvg와 동일한 정확도를 유지함을 확인하여 성능 손실가 없음을 입증했다.
• 회귀 기반 변환은 컷레이어 위치와 계산/통신 비용 간의 관계를 효과적으로 모델링하여, 이전에는 이산적이었던 공간에서 연속 최적화를 가능하게 하였다.
• 프레임워크는 최적의 컷레이어와 자원 할당을 동적으로 할당하여 클라이언트 간 효율적인 로드 밸런싱을 가능하게 하였으며, 가장 느린 클라이언트로 인한 병목 현상을 제거했다.

Figure 2: The workflow of the SFL .