[논문 리뷰] Towards Fair Federated Learning with Zero-Shot Data Augmentation

Weituo Hao, Mostafa El‐Khamy외 5명|arXiv (Cornell University)|2021. 04. 27.

Privacy-Preserving Technologies in Data참고 문헌 37인용 수 7

한 줄 요약

이 논문은 통계적 이질성 문제를 완화하고 공정성을 향상시키기 위해 클라이언트 또는 서버에서 부족하게 표현된 클래스 데이터를 합성하는 제로샷 데이터 생성 기반의 페더레이티드 러닝 프레임워크인 Fed-ZDAC 및 Fed-ZDAS를 제안한다. 실험 결과, MNIST, Fashion-MNIST, CIFAR-10에서 전반적인 테스트 정확도를 향상시키면서도 클라이언트 간 정확도 변동성을 크게 감소시킴을 확인하였다.

ABSTRACT

Federated learning has emerged as an important distributed learning paradigm, where a server aggregates a global model from many client-trained models while having no access to the client data. Although it is recognized that statistical heterogeneity of the client local data yields slower global model convergence, it is less commonly recognized that it also yields a biased federated global model with a high variance of accuracy across clients. In this work, we aim to provide federated learning schemes with improved fairness. To tackle this challenge, we propose a novel federated learning system that employs zero-shot data augmentation on under-represented data to mitigate statistical heterogeneity and encourage more uniform accuracy performance across clients in federated networks. We study two variants of this scheme, Fed-ZDAC (federated learning with zero-shot data augmentation at the clients) and Fed-ZDAS (federated learning with zero-shot data augmentation at the server). Empirical results on a suite of datasets demonstrate the effectiveness of our methods on simultaneously improving the test accuracy and fairness.

연구 동기 및 목표

• 비정규 분포 클라이언트 데이터 분포에서 발생하는 통계적 이질성으로 인한 공정성 저하 문제를 해결하기 위해.
• 다수 클래스를 가진 클라이언트와 부족하게 표현된 클래스를 가진 클라이언트 간 성능 격차를 완화하기 위해.
• 원시 클라이언트 데이터에 접근하지 않고도 합성 데이터를 생성하는 프라이버시 보존 방법을 개발하기 위해.
• 제로샷 데이터 증강의 시기와 위치(클라이언트 대비 서버)가 모델의 공정성과 정확도에 미치는 영향을 평가하기 위해.
• 제안된 데이터 증강 기반 메커니즘에 대한 차별적 프라이버시 분석을 제공하기 위해.

제안 방법

• 원시 데이터를 사용하지 않고 모델 통계만을 이용해 부족하게 표현된 클래스의 이미지를 합성하는 제로샷 데이터 생성(ZSDG) 기법을 사용한다.
• 클라이언트에서의 합성( Fed-ZDAC)과 서버에서의 합성( Fed-ZDAS)을 구현한 두 가지 변종을 도입하여 로컬 모델의 일반화 능력을 향상시킨다.
• 다양이 가능한 생성 모델을 활용해 클라이언트 또는 서버 측 모델 가중치를 역으로 추론하고 소수 클래스를 위한 가짜 예시(퍼시피카이브)를 생성한다.
• 기본 성능 평가를 위해 표준 ResNet34 아키텍처를 사용하고, 다양한 데이터 분포 설정에서 모델 역추론 품질을 평가한다.
• 합성 데이터 생성을 위한 고급 품질의 데이터를 확보하기 위해 데이터 증강 이전에 버닝 인 단계를 도입한다.
• $(0,\delta)$-차별적 프라이버시 기반으로 프라이버시 보장을 분석하여, 합성 데이터 생성이 클라이언트 데이터 프라이버시를 침해하지 않음을 입증한다.

실험 결과

연구 질문

• RQ1 클라이언트 또는 서버 수준에서의 제로샷 데이터 증강이 비정규 분포 페더레이티드 러닝 환경에서 공정성과 정확도에 어떤 영향을 미치는가?
• RQ2 페더레이티드 트레이닝에서 데이터 증강을 시작할 최적의 타이밍은 무엇인가? 이를 통해 공정성과 모델 성능을 극대화할 수 있는가?
• RQ3 합성 데이터의 품질은 기반 모델의 성능에 따라 어떻게 달라지며, 특히 비정규 분포 데이터 분포 하에서 어떻게 영향을 받는가?
• RQ4 원시 클라이언트 데이터에 접근하지 않고도 제로샷 데이터 생성이 모델 일반화 능력을 향상시킬 수 있는가? 이는 프라이버시 보존에 기여하는가?
• RQ5 불균형 데이터를 가진 클라이언트 간 정확도 변동성을 줄이는 데 있어 Fed-ZDAC와 Fed-ZDAS는 어떻게 상호 비교되는가?

주요 결과

• Fed-ZDAC 및 Fed-ZDAS는 CIFAR-10과 같은 비정규 분포 데이터셋에서 클라이언트 간 정확도 변동성을 최대 50%까지 감소시켜 공정성을 향상시켰다.
• CIFAR-10에서 Fed-ZDAC를 사용한 모델은 비정규 분포 환경에서도 테스트 정확도 73.96%를 기록하여 기준 페더레이티드 러닝보다 유의미하게 높은 성능을 보였다.
• 모델 성능이 떨어질수록 모델 역추론을 통한 합성 데이터 품질도 저하되며, 특히 극도로 비정규 분포 데이터 분포에서 가장 낮은 성능(58.10% 정확도)을 기록하였다.
• 에포크 90 또는 95에 데이터 증강을 시작하는 것이 에포크 80과 같은 이른 시점에 시작하는 것보다 더 나은 공정성을 제공한다. 이는 높은 모델 정확도가 더 나은 합성 데이터를 생성하기 때문이다.
• 메커니즘이 $(0,\delta)$-차별적 프라이버시를 충족함을 입증하여, 합성 데이터 생성이 클라이언트 데이터 프라이버시를 침해하지 않음을 확인하였다.
• Fed-ZDAC 및 Fed-ZDAS에서 생성된 합성 데이터는 지역적 데이터 분포의 이질성을 효과적으로 줄여 부족하게 표현된 클래스에 대한 일반화 능력을 향상시켰다.