[논문 리뷰] FedCD: Improving Performance in non-IID Federated Learning

Kavya Kopparapu, Eric W. Lin외 1명|arXiv (Cornell University)|2020. 06. 17.

Privacy-Preserving Technologies in Data참고 문헌 9인용 수 28

한 줄 요약

FedCD는 비독립identical 분포(Non-IID) 데이터에서 성능을 향상시키기 위해 고성능 글로벌 모델을 동적으로 클로닝하고 저성능 모델을 삭제하는 새로운 피어드 학습 프레임워크를 제안한다. 이로 인해 기기들이 유사한 데이터 분포를 가진 그룹으로 자율적으로 조직될 수 있다. CIFAR-10에서의 실험 결과, FedCD는 통신 및 저장소 오버헤드를 최소화하면서도 FedAvg보다 더 빠른 수렴 속도와 높은 정확도를 달성하였다.

ABSTRACT

Federated learning has been widely applied to enable decentralized devices, which each have their own local data, to learn a shared model. However, learning from real-world data can be challenging, as it is rarely identically and independently distributed (IID) across edge devices (a key assumption for current high-performing and low-bandwidth algorithms). We present a novel approach, FedCD, which clones and deletes models to dynamically group devices with similar data. Experiments on the CIFAR-10 dataset show that FedCD achieves higher accuracy and faster convergence compared to a FedAvg baseline on non-IID data while incurring minimal computation, communication, and storage overheads.

연구 동기 및 목표

• 엣지 기기 간 데이터가 비독립identical 분포(Non-IID)일 경우 발생하는 피어드 학습의 성능 저하 문제를 해결한다.
• IID 데이터를 가정하는 FedAvg의 한계를 극복하며, 비IIDs 환경에서 충돌하는 업데이트 문제를 해결한다.
• 전체 피어드 통신 없이도 개인화 학습을 가능하게 하는 스케일러블한 중심화된 프레임워크를 개발한다.
• 비IIDs 상황에서의 신속한 수렴과 높은 정확도를 확보하면서도 통신 및 저장소 비용을 최소화한다.
• 모델 평가 및 동적 클로닝/삭제를 통해 기기들이 로컬 데이터 유사성에 기반해 아키토입 그룹으로 자율적으로 선택하는 것을 가능하게 한다.

제안 방법

• 정해진 마일스톤 라운드에 도달할 때마다 중앙 서버는 모든 활성 글로벌 모델을 클로닝하고 압축하여 배포한다.
• 각 기기는 사용 가능한 모든 모델을 자신의 로컬 데이터에서 학습하고, 각 모델이 기기의 로컬 검증 세트에서의 성능에 따라 점수를 계산한다.
• 서버는 각 글로벌 모델을 기기 업데이트의 가중 평균으로 업데이트하며, 가중치는 기기에서 각 모델의 점수 비례로 설정한다.
• 각 라운드 이후 저점수 모델은 기기의 로컬 저장소에서 삭제되어 장치 내 저장소 제한과 모델 폭발을 방지한다.
• 기기들은 자신의 데이터에서 높은 점수를 받는 모델을 우선적으로 업데이트함으로써 유사한 데이터 분포를 가진 그룹으로 자율적으로 조직된다(아키토입).
• 각 기기당 활성 모델 수를 제한하고 양자화된 모델 압축을 사용함으로써 모델 특화성과 시스템 효율성의 균형을 유지한다.

실험 결과

연구 질문

• RQ1 중앙 집중식 피어드 학습 프레임워크가 동적으로 다수의 전문화된 글로벌 모델을 유지함으로써 비IIDs 데이터를 효과적으로 처리할 수 있는가?
• RQ2 FedCD의 모델 클로닝 및 삭제 메커니즘이 비IIDs 환경에서 FedAvg에 비해 수렴 속도와 정확도를 어떻게 향상시키는가?
• RQ3 FedCD는 성능을 유지하면서도 장치 내 저장소 및 통신 오버헤드를 어느 정도 제한하는가?
• RQ4 모델 평가 및 선택을 통해 기기들이 데이터 유사성에 기반해 아키토입 그룹으로 자율적으로 조직되는가?
• RQ5 다양한 데이터 편향 수준이 FedCD에서 모델 특화성과 수렴 동역학에 어떤 영향을 미치는가?

주요 결과

• FedCD는 초기 기하학적 및 계층적 데이터 분포 설정 모두에서 비IIDs 데이터에서 FedAvg보다 더 빠른 수렴 속도와 높은 정확도를 달성하였다.
• 계층적 아키토입 실험에서 FedCD는 45라운드 만에 수렴했고, FedAvg는 300라운드(제한)까지 도달했으며, 이로 인해 월클록 타임에서 1.482배의 향상이 있었다.
• 초기 기하학적 실험에서 FedCD는 50라운드 만에 수렴했고, FedAvg는 300라운드까지 도달했으며, 이로 인해 월클록 타임에서 3.488배의 이점이 있었다.
• 학습 종료 시점에 기기 모델 점수의 평균 표준편차는 0에 수렴하여 기기들이 하나 또는 두 개의 고성능 모델에 수렴한 것으로 나타났다.
• 각 기기는 전체 학습 기간 동안 최대 두 개의 활성 모델만 유지하여 장치 내 저장소 및 모델 폭발에 대한 효과적인 제어를 보였다.
• 데이터 이질성 증가에도 불구하고 저성능 모델의 강력한 삭제로 인해 활성 모델 수가 불controlled로 증가하지 않아 안정적인 유지가 가능했다.