[논문 리뷰] Eliminating Domain Bias for Federated Learning in Representation Space

Jianqing Zhang, Hua Yang외 6명|arXiv (Cornell University)|2023. 11. 25.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 논문은 비정규 분포 데이터 환경에서 표현 편향과 열화를 완화하기 위해 클라이언트 고유의 표현 편향을 개인화된 메모리로 분리하고 공통 글로벌 평균을 강제로 유지함으로써 피어드 학습(FL)을 위한 새로운 프레임워크인 도메인 편향 제거기(DBE)를 제안한다. DBE는 일반화와 개인화를 모두 향상시켜 최신 개인화된 FL 방법보다 최대 11.36% 높은 정확도를 달성하고, 표현 복잡도(MDL)를 최대 22.35% 감소시킨다.

ABSTRACT

Recently, federated learning (FL) is popular for its privacy-preserving and collaborative learning abilities. However, under statistically heterogeneous scenarios, we observe that biased data domains on clients cause a representation bias phenomenon and further degenerate generic representations during local training, i.e., the representation degeneration phenomenon. To address these issues, we propose a general framework Domain Bias Eliminator (DBE) for FL. Our theoretical analysis reveals that DBE can promote bi-directional knowledge transfer between server and client, as it reduces the domain discrepancy between server and client in representation space. Besides, extensive experiments on four datasets show that DBE can greatly improve existing FL methods in both generalization and personalization abilities. The DBE-equipped FL method can outperform ten state-of-the-art personalized FL methods by a large margin. Our code is public at https://github.com/TsingZ0/DBE.

연구 동기 및 목표

• 통계적 이질성 하에서 피어드 학습에서 표현 편향과 계층별 표현 열화를 식별하고 해결하는 것.
• 비-IID 데이터 시나리오에서 기존 FL 방법의 일반화 및 개인화 성능을 향상시키는 것.
• 로컬 표현을 글로벌 평균과 정렬함으로써 서버와 클라이언트 간 双방향 지식 전이를 가능하게 하는 것.
• 기존 FL 방법(예: FedAvg 포함)과 호환되는 일반적이고 즉시 통합 가능한 프레임워크를 제공하는 것.
• 시각 및 NLP 벤치마크에서 최신 개인화된 FL 방법과의 비교를 통해 DBE의 우수성을 경험적으로 검증하는 것.

제안 방법

• DBE는 각 클라이언트에서 클라이언트 고유의 표현 편향를 저장하고 격리하는 개인화된 표현 편향 메모리(PRBM)를 도입한다.
• 지역 학습 중 로컬 특징 추출기가 공통 글로벌 평균 중심의 표현을 생성하도록, 평균 정규화(MR)를 적용한다.
• 표현 공간을 두 수준으로 분할한다: 클라이언트에 영향을 받지 않는 글로벌 평균과 클라이언트에 따라 달라지는 편향으로, 표현 학습에서의 갈등을 줄인다.
• DBE는 모델 집합 과정을 수정하지 않고 지역 학습에 통합되어, 기밀성과 통신 효율성을 유지한다.
• 표현 품질은 모델 및 데이터에 종속되지 않는 메트릭인 최소 기술 길이(MDL)로 측정된다.
• 이론적 분석을 통해 DBE는 일반화 경계를 감소시키고 서버와 클라이언트 간 양방향 지식 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 통계적 이질성 하에서 피어드 학습의 지역 학습 과정에서 표현 편향은 어떻게 발생하는가?
• RQ2 클라이언트 고유의 편향을 일반 표현에서 분리함으로써 표현 열화는 어느 정도 완화될 수 있는가?
• RQ3 표현 공간에서 공통 글로벌 평균을 강제로 유지하면 일반화와 개인화 성능 향상에 기여하는가?
• RQ4 DBE는 최신 개인화된 FL 방법과 비교해 정확도 및 표현 품질 측면에서 어떻게 성과를 내는가?
• RQ5 DBE는 실세계 IoT 및 모바일 센싱 시나리오를 포함한 다양한 데이터 분포 하에서도 성능을 유지하는가?

주요 결과

• DBE는 FedAvg 대비 표현 복잡도(MDL)를 최대 22.35% 감소시켜 일반 표현 품질 향상을 시사한다.
• FedAvg+DBE는 FedAvg 대비 최대 32.30% 높은 정확도를 달성하여 개인화 성능 향상이著명하다.
• 다양한 벤치마크에서 DBE는 10종의 최신 개인화된 FL 방법보다 최대 11.36% 높은 테스트 정확도를 기록한다.
• HAR 데이터셋에서 FedAvg+DBE는 94.53%의 정확도를 달성하여 APFL(92.18%) 및 FedFomo(63.39%)와 같은 고급 방법을 뛰어넘었다.
• 고도의 데이터 이질성(예: β=0.01인 딜리클레 분포)과 큰 로컬 에포크 수 조건에서도 강건한 성능을 유지한다.
• t-SNE 시각화 결과 DBE가 클라이언트 고유의 군집화를 감소시키고 표현 공간에서 클래스 간 분리도를 향상시킨다.