[논문 리뷰] FedDisco: Federated Learning with Discrepancy-Aware Collaboration

Rui Ye, Mingkai Xu외 4명|arXiv (Cornell University)|2023. 05. 30.

Privacy-Preserving Technologies in Data인용 수 25

한 줄 요약

FedDisco는 로컬 데이터셋 크기와 분포 차이를 결합한 차이 인식 집계 가중치를 도입하여 카테고리 분포 이질성 하에서 연합학습을 개선하며, 이론과 광범위한 실험을 통해 이득과 모듈성을 보여준다.

ABSTRACT

This work considers the category distribution heterogeneity in federated learning. This issue is due to biased labeling preferences at multiple clients and is a typical setting of data heterogeneity. To alleviate this issue, most previous works consider either regularizing local models or fine-tuning the global model, while they ignore the adjustment of aggregation weights and simply assign weights based on the dataset size. However, based on our empirical observations and theoretical analysis, we find that the dataset size is not optimal and the discrepancy between local and global category distributions could be a beneficial and complementary indicator for determining aggregation weights. We thus propose a novel aggregation method, Federated Learning with Discrepancy-aware Collaboration (FedDisco), whose aggregation weights not only involve both the dataset size and the discrepancy value, but also contribute to a tighter theoretical upper bound of the optimization error. FedDisco also promotes privacy-preservation, communication and computation efficiency, as well as modularity. Extensive experiments show that our FedDisco outperforms several state-of-the-art methods and can be easily incorporated with many existing methods to further enhance the performance. Our code will be available at https://github.com/MediaBrain-SJTU/FedDisco.

연구 동기 및 목표

• 연합학습에서 카테고리 분포 이질성을 동기화하고 해결한다.
• 데이터셋 크기와 로컬-글로벌 분포 차이를 모두 반영하는 서버측 집계 가중치를 제안한다.
• 차이 인식 가중치를 가진 경우 최적화 오차 상한이 더 촘촘해짐을 이론적으로 분석한다.
• 다양한 데이터셋과 이질성 설정에서 실질적 이득을 보이고 모듈성 및 효율성을 강조한다.

제안 방법

• 각 클라이언트와 균일한 글로벌 타깃 간의 로컬 카테고리 분포 차이를 정의하고 측정한다.
• 데이터셋 크기 n_k와 차이 d_k를 균형 있게 반영하는 명시적 차이 인식 집계 가중치 p_k를 도출한다 (p_k ∝ n_k − a·d_k + b).
• FedDisco 프레임워크는 로컬 모델을 정상적으로 업데이트하되 차이 인식 가중치를 사용해 집계한다.
• 일반화된 가중치를 적용한 FedAvg의 수렴 분석을 이론적으로 제공하고 차이가 상한을 더 촘촘하게 만드는 방법을 보인다.
• FedDisco가 기존 FL 방법에 부가 비용 없이 모듈화를 보여주며 확장 가능성을 입증한다.
• 제안된 방법의 프라이버시, 통신, 계산 효율성의 이점을 논의한다.

실험 결과

연구 질문

• RQ1 로컬과 글로벌 카테고리 분포 간의 차이에 기반한 집계 가중치가 데이터 크기 기반 가중치보다 FL 성능을 향상시킬 수 있는가?
• RQ2 로컬 차이를 포함하는 이론적 영향이 연합 평균화의 최적화 오차 한계에 어떤 영향을 미치는가?
• RQ3 FedDisco가 다양하고 이질적이며 부분 참여 또는 텍스트 기반 FL 설정에서 최신 방법과 비교해 어떤 성능을 보이는가?
• RQ4 FedDisco가 모듈러하고 기존 FL 알고리즘에 큰 오버헤드 없이 쉽게 통합될 수 있는가?

주요 결과

• FedDisco는 다수의 이질적 데이터셋과 설정에서 여러 최첨단 연합학습 방법보다 일관되게 더 나은 성능을 보인다.
• 차이와 데이터셋 크기 모두에 의존하는 가중치 이론 분석은 최적화 오차 상한을 촘촘하게 만들 수 있음을 보여준다.
• FedDisco는 모듈성을 나타내며 다양한 FL 기준선과 결합해도 추가 계산 또는 통신 비용이 크게 증가하지 않는다.
• 부분 참여 환경에서의 견고성과 텍스트 모달리티 데이터셋에의 적용 가능성을 실험으로 확인한다.
• 차이는 로컬에서 계산되고 한 차례만 공유되어 프라이버시를 보존하고 오버헤드를 줄인다.