[논문 리뷰] A Simple Data Augmentation for Feature Distribution Skewed Federated Learning

Yunlu Yan, Fu, Huazhu외 5명|arXiv (Cornell University)|2023. 06. 14.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 특성 분포 편향 하에서 페더레이티드 러닝을 위한 간단하면서도 효과적인 데이터 증강 방법인 FedRDN을 제안한다. 증강 과정에서 여러 클라이언트의 전역 통계적 특징(평균 및 표준편차)을 무작위로 로컬 데이터에 주입함으로써 FedRDN은 특성 일반화를 향상시키고 도메인 이동을 완화하여 최소한의 오버헤드로 다양한 FL 벤치마크에서 성능을 크게 향상시킨다.

ABSTRACT

Federated Learning (FL) facilitates collaborative learning among multiple clients in a distributed manner and ensures the security of privacy. However, its performance inevitably degrades with non-Independent and Identically Distributed (non-IID) data. In this paper, we focus on the feature distribution skewed FL scenario, a common non-IID situation in real-world applications where data from different clients exhibit varying underlying distributions. This variation leads to feature shift, which is a key issue of this scenario. While previous works have made notable progress, few pay attention to the data itself, i.e., the root of this issue. The primary goal of this paper is to mitigate feature shift from the perspective of data. To this end, we propose a simple yet remarkably effective input-level data augmentation method, namely FedRDN, which randomly injects the statistical information of the local distribution from the entire federation into the client's data. This is beneficial to improve the generalization of local feature representations, thereby mitigating feature shift. Moreover, our FedRDN is a plug-and-play component, which can be seamlessly integrated into the data augmentation flow with only a few lines of code. Extensive experiments on several datasets show that the performance of various representative FL methods can be further improved by integrating our FedRDN, demonstrating its effectiveness, strong compatibility and generalizability. Code will be released.

연구 동기 및 목표

• 실제 FL 구현에서 흔히 발생하지만 아직 충분히 탐색되지 않은 특성 분포 편향 문제를 해결하기 위해.
• 편향된 로컬 데이터 분포로 인한 특성 이동을 입력 수준의 데이터 증강으로 효과적으로 완화할 수 있는지 탐구하기 위해.
• 기존 FL 파이프라인에 쉽게 통합될 수 있는 일반적이고 비모수적이며 프라이버시를 보존하는 데이터 증강 기법을 개발하기 위해.
• 모델 아키텍처를 수정하지 않고 이질적인 클라이언트 간의 로컬 모델 일반화 및 강건성을 향상시키기 위해.
• 다양한 데이터셋과 FL 프레임워크에서의 확장성과 효과성을 입증하기 위해.

제안 방법

• FedRDN은 모든 클라이언트의 로컬 데이터셋에서 전역 통계적 특징(평균 및 표준편차)을 무작위로 샘플링하는 새로운 데이터 증강 전략을 도입한다.
• 학습 중 각 클라이언트는 자신의 로컬 통계 대신 피드재이션의 무작위로 선택된 전역 통계 쌍(μ, σ)을 사용해 수정된 정규화를 적용한다.
• 이 과정은 데이터 증강 파이프라인에 플러그 앤 플레이 컴ponent로 구현되어 통합하기 위해 몇 줄의 코드만 필요하다.
• 이 방법은 비모수적이며, 전역 통계 요약 정보만 클라이언트 간에 교환하기 때문에 계산 및 통신 오버헤드가 극히 낮다.
• 증강은 모델의 순방향 전파 이전에 입력 수준에서 적용되므로 더 풍부한 데이터 다양성을 통해 효과적인 분포 이동 완화가 가능하다.
• FedRDN은 전역 통계에 대한 무작위 샘플링 전략을 사용하여 각 클라이언트가 학습 중 더 넓은 범위의 기저 데이터 분포를 경험하도록 보장한다.

실험 결과

연구 질문

• RQ1 입력 수준의 데이터 증강이 페더레이티드 러닝에서 특성 분포 편향을 효과적으로 완화할 수 있는가?
• RQ2 간단하고 비모수적인 데이터 증강 방법이 편향된 데이터 분포를 가진 클라이언트 간의 모델 일반화를 향상시킬 수 있는가?
• RQ3 로컬 데이터에 전역 통계적 특징을 주입하는 것이 FL에서 모델 수렴 및 성능에 어떤 영향을 미치는가?
• RQ4 FedRDN은 다양한 로컬 학습 에포크 수와 데이터 이질성 수준에 대해 강건한가?
• RQ5 실제 데이터 편향 조건에서 FedMix 및 FedFA와 같은 기존 방법보다 FedRDN이 특성 이동 문제를 더 효과적으로 해결하는가?

주요 결과

• Office-Caltech-10 데이터셋에서 FedRDN은 DSLR→Amazon 사이트 간 전이 작업에서 87.50%의 정확도를 기록하여 FedAvg보다 18.75%p 높은 성능을 보였다.
• DomainNet에서 FedRDN은 FedAvg의 정확도를 42.32%에서 43.55%로 향상시켜 다양한 도메인 간 일관된 성능 향상을 입증했다.
• ProstateMRI 벤치마크에서 FedRDN은 정확도를 90.02%에서 92.32%로 끌어올려 의료 영상 작업에서 강력한 일반화 성능을 보였다.
• FedRDN은 모든 클라이언트-타겟 조합에서 FedAvg, FedMix, FedFA보다 더 우수한 사이트 간 일반화 성능을 보였으며, 일관된 성능 향상을 보였다.
• 절연 분석 결과, 고정된 전역 통계를 사용하는 FedRDN-V는 무작위 샘플링을 사용하는 FedRDN 대비 최대 8.3%p 성능이 열등하여 확률적 증강의 중요성을 입증했다.
• T-SNE 시각화 결과, FedAvg에 비해 FedRDN이 클라이언트 간 더 일관되고 편향이 적은 특성 분포를 만들어내는 것으로 확인되었다.