[논문 리뷰] Comparative assessment of federated and centralized machine learning

Ibrahim Abdul Majeed, Sagar Kaushik외 5명|arXiv (Cornell University)|2022. 02. 03.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 페더레이티드 러닝(FL)과 중앙집중식 머신 러닝을 비교하여, 비아이디얼 데이터 분포(non-IID)의 도전과제가 있음에도 불구하고 소형 및 중형 모델에 대해 FL이 비용 측면에서 유리함을 입증한다. FL에서 모델 크기가 배포 비용에 상당한 영향을 미치며, 특히 레이블 편향과 각 샘플당 제한된 장치 데이터가 수렴에 영향을 주는 경우, 효율성을 확보하기 위해 철저한 모델 설계와 압축 기법이 필수적임을 보여준다.

ABSTRACT

Federated Learning (FL) is a privacy preserving machine learning scheme, where training happens with data federated across devices and not leaving them to sustain user privacy. This is ensured by making the untrained or partially trained models to reach directly the individual devices and getting locally trained "on-device" using the device owned data, and the server aggregating all the partially trained model learnings to update a global model. Although almost all the model learning schemes in the federated learning setup use gradient descent, there are certain characteristic differences brought about by the non-IID nature of the data availability, that affects the training in comparison to the centralized schemes. In this paper, we discuss the various factors that affect the federated learning training, because of the non-IID distributed nature of the data, as well as the inherent differences in the federating learning approach as against the typical centralized gradient descent techniques. We empirically demonstrate the effect of number of samples per device and the distribution of output labels on federated learning. In addition to the privacy advantage we seek through federated learning, we also study if there is a cost advantage while using federated learning frameworks. We show that federated learning does have an advantage in cost when the model sizes to be trained are not reasonably large. All in all, we present the need for careful design of model for both performance and cost.

연구 동기 및 목표

• 비아이디얼 데이터 분포—특히 레이블 편향과 단일 레이블 장치—가 페더레이티드 러닝 성능에 미치는 영향을 분석하기 위해.
• 편향된 데이터 하에서 수렴성과 정확도 측면에서 페더레이티드 SGD와 페더레이티드 어워징을 중심집중 경사하강법과 비교하기 위해.
• 클라우드 플랫폼에서의 페더레이티드 러닝과 중앙집중식 훈련 및 배포의 비용 영향을 평가하기 위해.
• 모델 크기, 집계 라운드 수, 일일 라운드 수 등 페더레이티드 러닝의 핵심 비용 요인을 규명하기 위해.
• 성능 저하 없이 모델 크기와 배포 비용을 줄일 수 있는 모델 압축 및 설계 전략을 탐색하기 위해.

제안 방법

• 레이블 편향과 단일 레이블 장치를 포함한 다양한 데이터 분포 시나리오를 바탕으로 페더레이티드 및 중앙집중식 훈련을 실증적으로 평가한다.
• 확률적 경사하강법을 사용한 페더레이션 어워징과 페더레이티드 SGD를 사용하여, 다양한 데이터 분할에서의 수렴성과 정확도를 비교한다.
• 클라우드 인프라 메트릭을 기반으로 비용을 모델링한다: EC2 인스턴스 실행 시간, S3 데이터 전송, 모델 업데이트 메시지 페이로드 크기.
• 모델 크기, 집계 라운드 수, 일일 라운드 수를 함수로 삼아 비용을 분석하여 핵심 비용 요인을 규명한다.
• 특징 해싱과 신경망 프루닝과 같은 모델 압축 기법을 고려하여 모델 크기와 배포 비용을 줄인다.
• 보안 조치(예: 차별적 프라이버시)와 모델 성능 간의 상호 트레이드오프를 평가하며, 익명화 수준이 높아질수록 성능 저하가 발생함을 확인한다.

실험 결과

연구 질문

• RQ1 비아이디얼 데이터에서 레이블 편향이 페더레이티드 러닝의 수렴성과 성능에 중앙집중식 러닝과 비교해 어떤 영향을 미치는가?
• RQ2 장치당 하나의 레이블만 존재할 경우 페더레이티드 러닝 성능에 어떤 영향을 미치는가?
• RQ3 모델 크기가 클라우드 플랫폼에서의 페더레이티드 러닝 훈련 및 배포 총비용에 어떤 영향을 미치는가?
• RQ4 집계 라운드 수와 일일 라운드 수는 훈련 및 인프라 비용을 결정하는 데 어떤 역할을 하는가?
• RQ5 모델 압축 및 특징 감소 기법이 성능 손실 없이 페더레이티드 러닝의 배포 비용을 효과적으로 줄일 수 있는가?

주요 결과

• 비아이디얼 데이터, 특히 단일 레이블 또는 극도로 편향된 레이블 분포를 가진 경우, 페더레이티드 러닝은 중앙집중식 훈련에 비해 수렴 속도가 느리고 정확도가 떨어진다.
• 장치당 샘플 수와 레이블 분포가 모델 성능에 상당한 영향을 미치며, 동일한 레이블의 샘플 수가 너무 많을 경우 학습 성능이 저하될 수 있다.
• 페더레이티드 러닝의 모델 배포 비용은 주로 S3 읽기 비용에 의해 지배되며, 이에 따라 모델 크기가 핵심 비용 요소가 된다.
• 훈련 비용은 다양한 모델 크기(예: 15KB에서 15,000KB)에 걸쳐 상대적으로 안정되어 있으나, 배포 비용은 모델이 커질수록 급격히 증가한다.
• 일일 집계 라운드 수를 늘릴수록 EC2 인스턴스의 필수 실행 시간이 단축되어 총 훈련 비용이 감소한다.
• 특징 해싱과 신경망 프루닝과 같은 모델 압축 기법은 모델 크기를 줄이고 배포 비용을 낮출 수 있으며, 성능 저하 없이 효과적이다.