[논문 리뷰] FedMix: Approximation of Mixup under Mean Augmented Federated Learning

Tehrim Yoon, Sumin Shin외 2명|arXiv (Cornell University)|2021. 07. 01.

Privacy-Preserving Technologies in Data참고 문헌 34인용 수 67

한 줄 요약

FedMix는 평균 증강 연합학습(MAFL) 프레임워크 내에서 전역 Mixup의 근사치를 제시하여, 평균 데이터만을 사용해 Mixup와 유사한 데이터 증강을 가능하게 하며 프라이버시를 유지하면서 비 IID 연합학습 성능을 개선한다.

ABSTRACT

Federated learning (FL) allows edge devices to collectively learn a model without directly sharing data within each device, thus preserving privacy and eliminating the need to store data globally. While there are promising results under the assumption of independent and identically distributed (iid) local data, current state-of-the-art algorithms suffer from performance degradation as the heterogeneity of local data across clients increases. To resolve this issue, we propose a simple framework, Mean Augmented Federated Learning (MAFL), where clients send and receive averaged local data, subject to the privacy requirements of target applications. Under our framework, we propose a new augmentation algorithm, named FedMix, which is inspired by a phenomenal yet simple data augmentation method, Mixup, but does not require local raw data to be directly shared among devices. Our method shows greatly improved performance in the standard benchmark datasets of FL, under highly non-iid federated settings, compared to conventional algorithms.

연구 동기 및 목표

• 데이터 이질성(non-iid) 및 프라이버시 제약 하에서 연합학습의 동기를 제시한다.
• 모델 매개변수와 함께 평균 데이터를 교환하는 프레임워크로 MAFL를 도입한다.
• 평균 데이터를 이용해 글로벌 Mixup를 테일러 전개를 통해 근사하도록 FedMix를 개발한다.
• 비 IID 설정에서 특히 표준 FL 벤치마크에서 FedAvg 및 FedProx 대비 실증적 이점을 보인다.

제안 방법

• 클라이언트가 모델 매개변수 외에 평균 데이터를 교환하는 MAFL를 정의한다.
• 로컬 데이터와 평균 외부 데이터 간의 기반선 Mixup인 NaiveMix를 제안한다.
• 평균 데이터만 사용하여 lambda << 1 주위에서 글로벌 Mixup 손실을 테일러 전개로 근사하여 FedMix를 개발한다.
• FedMix 손실이 로컬 데이터와 평균 외부 평균을 포함하는 표현으로 축소되고, 외부 평균을 포함하는 기울기항이 추가됨을 보인다.
• FEMNIST, CIFAR-10, CIFAR-100, Shakespeare에서 평가하여 FedAvg, FedProx, Local/NaiveMix 변형과 비교한다.

실험 결과

연구 질문

• RQ1 클라이언트 간 데이터를 평균화하는 MAFL가 RAW 데이터를 공유하지 않고도 비 IID 데이터 하에서 모델 성능을 개선할 수 있는가?
• RQ2 오직 평균 데이터만 사용하여 FedMix가 글로벌 Mixup의 효과를 어느 정도 효과적으로 근사할 수 있는가?
• RQ3 개인정보 보호, 통신 및 정확도에 대한 MAFL 매개변수(예: M_k, lambda)의 영향은 무엇인가?
• RQ4 다양한 비 IID 상황과 데이터셋에서 FedMix가 지속적으로 기본 FL 방법들보다 우수한가?

주요 결과

• 비 IID 설정에서 FedMix가 FEMNIST, CIFAR-10, CIFAR-100에서 FedAvg, FedProx, LocalMix 및 NaiveMix보다 더 높은 정확도와 더 빠른 수렴을 달성한다.
• FedMix는 라운드당 클라이언트 수가 적은 경우를 포함한 증가하는 이질성에 대해 강한 강건성을 보인다.
• Shakespeare(언어 데이터)에서 MAFL 변형은 기본값보다 성능이 향상되지만 글로벌 Mixup이 일관되게 우수하지는 않는다.
• M_k(평균 데이터 크기)를 변화시켜도 성능에 미치는 영향이 제한적이며, 이는 효과적인 프라이버시 보존 평균화임을 시사한다.
• FedMix가 Mixup 전략과 결합된 FedProx 변형들보다도 우수한 성능을 보인다.
• 이 접근법은 글로벌 Mixup보다 프라이버시를 더 잘 유지하면서도 경쟁력 있거나 더 나은 정확도를 달성한다.