[논문 리뷰] FedFMC: Sequential Efficient Federated Learning on Non-iid Data

Kavya Kopparapu, Eric W. Lin|arXiv (Cornell University)|2020. 06. 19.

Privacy-Preserving Technologies in Data참고 문헌 4인용 수 20

한 줄 요약

FedFMC는 데이터 아키타입 유사성에 기반해 장치를 동적으로 분할하여 별도의 글로벌 모델을 업데이트하는 새로운 피어드 학습 프레임워크를 제안한다. 이후 이들을 탄성 가중치 통합(Elastic Weight Consolidation, EWC)을 사용해 통합하고 통합하여 하나의 통합된 고성능 모델을 생성한다. 이는 글로벌 공유 데이터 서브셋이 없거나 FedAvg 수준의 통신 비용을 초과하지 않는 조건에서도 비독립적(Non-IID) 데이터에서 뛰어난 성능을 달성한다.

ABSTRACT

As a mechanism for devices to update a global model without sharing data, federated learning bridges the tension between the need for data and respect for privacy. However, classic FL methods like Federated Averaging struggle with non-iid data, a prevalent situation in the real world. Previous solutions are sub-optimal as they either employ a small shared global subset of data or greater number of models with increased communication costs. We propose FedFMC (Fork-Merge-Consolidate), a method that dynamically forks devices into updating different global models then merges and consolidates separate models into one. We first show the soundness of FedFMC on simple datasets, then run several experiments comparing against baseline approaches. These experiments show that FedFMC substantially improves upon earlier approaches to non-iid data in the federated learning context without using a globally shared subset of data nor increase communication costs.

연구 동기 및 목표

• 에지 장치 간 레이블 편향으로 인해 모델 성능이 저하되는 피어드 학습에서의 비독립적 데이터 문제를 해결한다.
• 이전 방법들이 글로벌 공유 데이터 서브셋이 필요하거나 더 높은 통신 비용을 수반하는 한계를 극복한다.
• 다양한 데이터 분포에서 더 빠른 수렴을 가능하게 하면서도 모델 크기 효율성을 유지하는 방법을 개발한다.
• 명시적인 아키타입 레이블 없이도 하나의 글로벌 모델이 여러 데이터 아키타입에 잘 일반화되도록 한다.
• 성능 진동을 유발하는 모순되는 모델 업데이트를 방지하는 통신 효율적이고 확장 가능한 솔루션을 제공한다.

제안 방법

• FedFMC는 로컬 모델 성능과 유사도에 기반해 에지 장치를 별도의 그룹으로 동적으로 분할하여 각 그룹에 대해 별도의 글로벌 모델을 형성한다.
• 각 그룹은 피어드 평균(Federated Averaging)을 사용해 자체 글로벌 모델을 독립적으로 훈련시으며, 특정 데이터 아키타입에 대해 수렴한다.
• 분할 가능 조건(fork-eligibility criterion)은 안정성을 위해 충분한 훈련과 적절한 시간 간격을 확보한 후에만 장치가 분할되도록 보장한다.
• 통합 단계에서는 탄성 가중치 통합(Elastic Weight Consolidation, EWC)을 사용해 여러 그룹 모델을 하나의 글로벌 모델로 통합하여 각 아키타입의 지식을 유지한다.
• 모델 정확도 향상 폭이 정체될 때 통합 과정이 트리거되며, 이는 안정적이고 효과적인 지식 통합을 보장한다.
• 모델 크기는 장치당 일정하게 유지되며, 단 한 개의 모델만 저장되며 과정 중 동적 모델 전환을 통해 업데이트가 이루어진다.

실험 결과

연구 질문

• RQ1 글로벌 공유 데이터 서브셋에 의존하지 않고도 비독립적 데이터에서 더 빠른 수렴을 달성할 수 있는 피어드 학습 시스템이 존재하는가?
• RQ2 표준 FedAvg와 비교해 동적 분할 및 통합이 다양한 데이터 아키타입에 걸쳐 일반화 성능을 향상시키는가?
• RQ3 다중 모델 접근 방식의 통신 비용을 FedAvg 수준으로 유지하면서도 비독립적 데이터에서 더 높은 성능을 달성할 수 있는가?
• RQ4 통합 단계에서 EWC를 사용할 경우 다양한 아키타입에서의 모델 안정성과 성능에 어떤 영향을 미치는가?
• RQ5 훈련 중에 여러 모델을 사용함에도 불구하고 에지 장치에서 모델 크기를 일정하게 유지할 수 있는가?

주요 결과

• FedFMC는 FedAvg 및 기타 베이스라인 대비 비독립적 데이터에서 유의미하게 높은 정확도를 달성하며, 특히 레이블 편향 상황에서 뛰어난 성능을 보인다.
• 글로벌 공유 5% 데이터 서브셋이 필요한 방법들보다도 뛰어난 정확도를 달성하며, 이러한 데이터 종속성이 전혀 없이도 성능을 확보한다.
• FedFMC의 통신 비용은 최악의 경우 O(T²·N)로 증가하지만, 실제로는 분할 빈도가 낮아 FedAvg 수준과 유사하게 유지된다.
• 훈련 전반에 걸쳐 장치당 모델 크기가 일정하게 유지되며, 단 한 개의 모델만 저장되며 동적 모델 전환를 통해 업데이트가 이루어진다.
• EWC를 사용한 통합 단계는 여러 아키타입의 지식을 하나의 견고한 글로벌 모델로 성공적으로 통합한다.
• FedFMC는 분할 단계에서 개인화된 모델과 통합 단계에서 통합된 글로벌 모델을 모두 제공하여 배포 유연성을 확보한다.