[논문 리뷰] Have Your Cake and Eat It Too: Toward Efficient and Accurate Split Federated Learning

Dengke Yan, Hu Ming외 5명|arXiv (Cornell University)|2023. 11. 22.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 AIoT 시스템에서 효율성과 정확도를 햖스키기 위해 적응형 슬라이딩 모델 분할 전략과 데이터 균형 기반 학습 메커니즘을 도입한 새로운 Split Federated Learning 프레임워크인 S²FL을 제안한다. 기기 성능에 따라 모델 부분을 동적으로 할당하고, 레이블 기반으로 특징을 재조합하여 근사된 IID 데이터 분포를 확보함으로써 스트래글러 효과를 감소시키고 클라이언트 드리프트를 완화한다. 이로 인해 기존 SFL 대비 최대 16.5% 높은 추론 정확도와 3.54배 빠른 학습 속도를 달성한다.

ABSTRACT

Due to its advantages in resource constraint scenarios, Split Federated Learning (SFL) is promising in AIoT systems. However, due to data heterogeneity and stragglers, SFL suffers from the challenges of low inference accuracy and low efficiency. To address these issues, this paper presents a novel SFL approach, named Sliding Split Federated Learning (S$^2$FL), which adopts an adaptive sliding model split strategy and a data balance-based training mechanism. By dynamically dispatching different model portions to AIoT devices according to their computing capability, S$^2$FL can alleviate the low training efficiency caused by stragglers. By combining features uploaded by devices with different data distributions to generate multiple larger batches with a uniform distribution for back-propagation, S$^2$FL can alleviate the performance degradation caused by data heterogeneity. Experimental results demonstrate that, compared to conventional SFL, S$^2$FL can achieve up to 16.5\% inference accuracy improvement and 3.54X training acceleration.

연구 동기 및 목표

• 데이터 이질성과 비IID 데이터 분포로 인한 Split Federated Learning(SFL)에서의 낮은 추론 정확도 문제를 해결하기 위해.
• 기기 성능의 이질성(계산 능력 및 통신 속도)으로 인한 스트래글러 문제를 완화하여 SFL의 학습 효율성을 향상시키기 위해.
• 자원이 제한된 AIoT 기기에서 프라이버시를 훼손하지 않으면서도 효율적이고 정확하며 확장 가능한 모델 학습을 가능하게 하는 프레임워크를 설계하기 위해.
• 적응형 모델 분할과 데이터 인지 특징 그룹화를 SFL에 통합하여 수렴성과 모델 일반화 능력을 향상시키기 위해.

제안 방법

• S²FL은 글로벌 모델을 서버 측, 공유, 클라이언트 측 모델 부분으로 세 부분으로 나누어 영역에 따라 민첩하고 적응 가능한 배포를 가능하게 한다.
• 적응형 슬라이딩 모델 분할 전략은 기기의 계산 용량(FLOPs)과 통신 대역폭에 기반해 모델 부분을 기기별로 할당하여 모든 기기 간 학습 시간을 균형 잡는다.
• 데이터 균형 기반 학습 메커니즘은 레이블 기반으로 기기에서 생성된 중간 특징을 재조합하여 서버 측 모델 부분을 학습하기 위한 균일한 분포의 배치를 형성한다.
• 여러 개의 서버 측 모델 복제본이 레이블 균형 잡힌 특징 그룹에 대해 학습되어 비IID 데이터로 인한 성능 저하를 줄인다.
• 서버 측 모델의 기울기는 클라이언트 기기로 반환되어 국부적 업데이트를 수행하고, 클라이언트 측 모델 부분은 피드 서버를 통해 집계되어 새로운 글로벌 클라이언트 측 모델을 형성한다.
• 프레임워크는 주 서버에서 레이블 정보를 활용하여 레이블 인지 특징 그룹화를 가능하게 하여 원시 데이터 폭로 없이 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 SFL에서 스트래글러 효과를 줄이기 위해 모델 분할을 기기별 특성에 따라 동적으로 적응시키는 방법은 무엇인가?
• RQ2 AIoT 기기에서의 데이터 이질성이 SFL 성능에 얼마나 심각하게 악영향을 미치며, 특징 재조직화를 통해 이를 어떻게 완화할 수 있는가?
• RQ3 적응형 모델 분할과 데이터 균형 특징 그룹화를 조합한 하이브리드 학습 전략이 SFL의 정확도와 효율성 향상에 기여하는가?
• RQ4 다양한 FLOPs와 통신 속도를 가진 기기 조합에서 S²FL의 성능은 어떻게 나타나는가?
• RQ5 적응형 슬라이딩 모델 분할 전략과 데이터 균형 기반 학습 메커니즘이 전체 성능 향상에 기여하는 비율은 각각 얼마인가?

주요 결과

• S²FL은 비IID 데이터 설정에서 기존 SFL 대비 최대 16.5% 높은 추론 정확도를 달성한다.
• 데이터 왜곡 계수 a=0.5일 때 S²FL은 SFL 대비 학습 시간을 3.54배 단축시키고 통신 오버헤드를 2.57배 감소시킨다.
• 제거 실험 결과, 적응형 슬라이딩 모델 분할 전략과 데이터 균형 기반 학습 메커니즘이 각각 성능 향상에 기여하며, 전체 S²FL+MB 구성에서 가장 높은 정확도와 빠른 수렴 속도를 기록한다.
• 참여 기기 수가 5에서 20으로 증가함에 따라 S²FL은 일관되게 베이스라인을 초월하여 강건성과 확장성을 입증한다.
• 특히 저FLOP 및 저대역폭 기기 비율이 높은 이질적 기기 조합에서도 S²FL은 SFL보다 더 빠른 수렴 속도와 높은 정확도를 유지한다.
• 데이터 균형 기반 메커니즘은 비IID 데이터의 영향을 줄여 테스트 정확도를 향상시키고, 적응형 분할 전략은 스트래글러 지연을 최소화하여 학습 속도를 가속화한다.