[논문 리뷰] End-to-End Evaluation of Federated Learning and Split Learning for Internet of Things

Yansong Gao, Minki Kim외 7명|arXiv (Cornell University)|2020. 03. 30.

Privacy-Preserving Technologies in Data참고 문헌 28인용 수 39

한 줄 요약

본 논문은 실제 IoT 하드웨어에서 연합 학습(Federated Learning, FL)과 분할 신경망(SplitNN)을 경험적으로 비교하고, IID, 불균형 및 비 IID 데이터 하에서의 학습 성능과 Raspberry Pi 기기에서의 구현 오버헤드를 평가합니다.

ABSTRACT

This work is the first attempt to evaluate and compare felderated learning (FL) and split neural networks (SplitNN) in real-world IoT settings in terms of learning performance and device implementation overhead. We consider a variety of datasets, different model architectures, multiple clients, and various performance metrics. For learning performance, which is specified by the model accuracy and convergence speed metrics, we empirically evaluate both FL and SplitNN under different types of data distributions such as imbalanced and non-independent and identically distributed (non-IID) data. We show that the learning performance of SplitNN is better than FL under an imbalanced data distribution, but worse than FL under an extreme non-IID data distribution. For implementation overhead, we end-to-end mount both FL and SplitNN on Raspberry Pis, and comprehensively evaluate overheads including training time, communication overhead under the real LAN setting, power consumption and memory usage. Our key observations are that under IoT scenario where the communication traffic is the main concern, the FL appears to perform better over SplitNN because FL has the significantly lower communication overhead compared with SplitNN, which empirically corroborate previous statistical analysis. In addition, we reveal several unrecognized limitations about SplitNN, forming the basis for future research.

연구 동기 및 목표

• FL 및 SplitNN의 IID, 불균형, 비 IID 데이터 설정에서 학습 성능(정확도 및 수렴)을 측정한다.
• 리소스 제약이 있는 IoT 하드웨어에서의 엔드-투-엔드 구현 오버헤드(학습 시간, 전력, 메모리, 통신)를 평가한다.
• Raspberry Pi에서 FL과 SplitNN의 배치를 평가하고 실용적 배치 가이드를 도출한다.

제안 방법

• IID, 불균형 및 비 IID 조건에서 여러 데이터세트와 클라이언트 수(2에서 100) 간 FL과 SplitNN을 비교한다.
• IoT 기기에 적합한 작은 매개변수를 가진 1D CNN 모델을 사용하여 수렴 속도와 정확도를 평가한다.
• Raspberry Pi 기기에 FL과 SplitNN을 장착하여 학습 시간, 메모리, 전력, 온도 및 통신 오버헤드를 측정한다.
• SplitNN-enabled 앙상블 학습을 조사하여 서버 자원에서 여러 모델을 병렬로 생성한다.
• SplitNN을 앙상블 학습으로 확장하고 개별 모델 학습과 비교하여 엔드-투-엔드 타이밍 및 자원 사용을 비교한다.

실험 결과

연구 질문

• RQ1 RQ1: 어떤 요인들(클라이언트 수, 불균형 데이터, 비 IID 데이터)이 SplitNN 학습 성능에 영향을 미치는가?
• RQ2 RQ2: 어떤 설정에서 학습 성능 및 수렴 측면에서 SplitNN이 연합 학습보다 우수한가?
• RQ3 RQ3: 자원 제약이 있는 IoT 하드웨어에서 FL와 SplitNN의 엔드-투-엔드 구현 오버헤드는 어느 정도인가?
• RQ4 RQ4: 분할 학습을 앙상블 학습과 함께 사용하면 학습 시간과 자원 사용을 줄일 수 있는가?

주요 결과

• SplitNN은 불균형 데이터 분포에서 FL보다 더 빠르게 수렴하지만 극단적인 비 IID 분포에서는 학습에 실패한다.
• 다수의 클라이언트나 매우 비 IID 데이터에서 중앙집중형 기준선에 도달하기 어려운 경우가 많지만 로컬 에폭 튜닝은 수렴에 도움을 줄 수 있다.
• Raspberry Pi 하드웨어에서 FL은 일반적으로 통신 오버헤드가 더 낮고 클라이언트 측 병렬성이 더 높아 주로 통신이 병목인 경우 더 적합하다.
• SplitNN은 더 높은 통신 오버헤드를 발생시키고 IoT 기기에서 무거운 모델에 대해서는 비실용적일 수 있으며, 이러한 하드웨어에는 더 작은 1D CNN이 권장된다.
• SplitNN을 활용한 앙상블 학습은 모델을 순차적으로 학습하는 것보다 총 학습 시간과 일부 자원 사용을 줄일 수 있지만 통신 오버헤드를 감소시키지는 않는다.