[논문 리뷰] Splitfed learning without client-side synchronization: Analyzing client-side split network portion size to overall performance

Praveen Joshi, Chandra Thapa외 4명|arXiv (Cornell University)|2021. 09. 19.

Privacy-Preserving Technologies in Data참고 문헌 11인용 수 11

한 줄 요약

이 논문은 통신 및 계산 오버헤드를 줄이기 위해 클라이언트 측 모델 동기화를 제거하는 SplitFed 학습(SplitFed learning)의 변종인 멀티헤드 스플릿 러닝(MHSL)을 제안한다. MNIST에 대한 ResNet-18을 대상으로 한 실험 결과, SFL과 유사한 성능를 기록하며, 정확도가 1%-2% 감소할 뿐이며, 다양한 클라이언트 측 분할 구성에서도 모델 정확도에 거의 영향을 주지 않는다.

ABSTRACT

Federated Learning (FL), Split Learning (SL), and SplitFed Learning (SFL) are three recent developments in distributed machine learning that are gaining attention due to their ability to preserve the privacy of raw data. Thus, they are widely applicable in various domains where data is sensitive, such as large-scale medical image classification, internet-of-medical-things, and cross-organization phishing email detection. SFL is developed on the confluence point of FL and SL. It brings the best of FL and SL by providing parallel client-side machine learning model updates from the FL paradigm and a higher level of model privacy (while training) by splitting the model between the clients and server coming from SL. However, SFL has communication and computation overhead at the client-side due to the requirement of client-side model synchronization. For the resource-constrained client-side, removal of such requirements is required to gain efficiency in the learning. In this regard, this paper studies SFL without client-side model synchronization. The resulting architecture is known as Multi-head Split Learning. Our empirical studies considering the ResNet18 model on MNIST data under IID data distribution among distributed clients find that Multi-head Split Learning is feasible. Its performance is comparable to the SFL. Moreover, SFL provides only 1%-2% better accuracy than Multi-head Split Learning on the MNIST test set. To further strengthen our results, we study the Multi-head Split Learning with various client-side model portions and its impact on the overall performance. To this end, our results find a minimal impact on the overall performance of the model.

연구 동기 및 목표

• SplitFed 학습(SFL)에서 클라이언트 측 모델 동기화로 인한 높은 통신 및 계산 오버헤드 문제를 해결한다.
• 클라이언트 측 동기화 요구 사항을 제거함으로써 자원이 제한된 환경에서 효율적인 피어드레이티드 학습을 가능하게 한다.
• 클라이언트 측 집계 없이 분산된 방식으로 스플릿 모델을 훈련시킬 수 있는지 탐색한다.
• 클라이언트 측 모델 부분 크기의 변화가 전체 모델 성능에 미치는 영향을 평가한다.
• 정확도 저하 없이 클라이언트 기기의 능력에 따라 동적 모델 분할을 지원할 수 있는지 탐색한다.

제안 방법

• SplitFed 학습에서 클라이언트 측 모델 집계 및 동기화를 제거한 새로운 아키텍처인 멀티헤드 스플릿 러닝(MHSL)을 제안한다.
• ResNet-18 모델을 클라이언트 측 및 서버 측 부분으로 분해하며, 클라이언트 측 부분은 첫 번째 합성곱 레이어부터 시작한다.
• 클라이언트 간의 가중치 동기화 없이 병렬로 여러 클라이언트 측 모델을 훈련시키며, 독립적인 업데이트에 의존한다.
• 중앙 서버는 기울기를 집계하고 서버 측 모델을 업데이트하는 동안, 클라이언트는 자신의 로컬 클라이언트 측 모델 부분을 독립적으로 업데이트한다.
• 각 클라이언트가 자체 클라이언트 측 모델 헤드를 유지하는 다중헤드 메커니즘을 구현하여 클라이언트 간 동기화가 필요 없도록 한다.
• 모델 분할 지점(레이어 1부터 레이어 9까지)을 다양하게 설정하여 분할 전략에 대한 민감도를 평가한다.

실험 결과

연구 질문

• RQ1 SplitFed 학습에서 클라이언트 측 모델 동기화 없이 효과적으로 수행될 수 있는가?
• RQ2 클라이언트 측 집계를 제거했을 때 MHSL의 성능은 SFL과 비교해 어떻게 되는가?
• RQ3 클라이언트 측 모델 부분 크기(즉, 다른 분할 레이어)의 변화가 전체 모델 정확도에 어떤 영향을 미치는가?
• RQ4 특히 다양한 모델 분할 전략 하에서 동기화를 제거했을 때 성능 저하가 심한 편인가?
• RQ5 클라이언트 기기의 능력에 따라 모델 레이어를 동적으로 할당할 수 있으며, 이때 모델 성능 저하 없이 수행될 수 있는가?

주요 결과

• MHSL은 실현 가능하며, SFL과 유사한 성능을 기록하며, MNIST 데이터셋에서 테스트 정확도가 1%-2% 감소할 뿐이다.
• MNIST에서 모델을 첫 번째 레이어에서 분할했을 경우, MHSL은 97.23%의 테스트 정확도를 기록했으며, 클라이언트 측 집계가 있는 SFL의 경우 98.54%였다.
• 모든 테스트된 분할 레이어(L1부터 L9까지)에서 MHSL는 일관된 성능을 유지하며, 테스트 정확도 범위는 96.71%에서 97.19% 사이로 변동이 거의 없었다.
• 모든 분할 지점에서 SFL는 약간 더 높은 성능를 보였지만, 그 격격은 1.5% 이내에 머물러 있어 성능 영향이 거의 없음을 시사한다.
• 실험 결과는 클라이언트 측 동기화를 제거해도 모델 수렴 및 정확도에 거의 영향을 주지 않으며, 클라이언트 측 모델 부분 크기가 달라져도 성능이 안정됨을 보여준다.
• MHSL는 클라이언트 기기의 능력에 따라 동적 모델 분할을 지원할 수 있으며, 다양한 분할 구성에서도 성능이 안정되어 있다.