[논문 리뷰] FedBR: Improving Federated Learning on Heterogeneous Data via Local Learning Bias Reduction

Yongxin Guo, Xiaoying Tang외 1명|arXiv (Cornell University)|2022. 05. 26.

Privacy-Preserving Technologies in Data인용 수 9

한 줄 요약

FedBR는 레이블에 의존하지 않는 가짜 데이터와 두 가지 핵심 구성 요소를 활용하여 이질적인 데이터 환경에서 국소 학습 편향을 줄이는 새로운 피어드 학습 프레임워크이다: (1) 편향된 국소 분류기 보정을 위한 출력 분포 균형 조절, (2) 국소 특징을 전역 표현과 정렬하는 최소-최대 대비 학습. 이는 통신 오버헤드를 최소화하고 레이블이 있거나 대규모 가짜 데이터가 필요 없이 최신 기술(SOTA) FL 방법보다 뚜렷한 성능 향상을 이룬다.

ABSTRACT

Federated Learning (FL) is a way for machines to learn from data that is kept locally, in order to protect the privacy of clients. This is typically done using local SGD, which helps to improve communication efficiency. However, such a scheme is currently constrained by slow and unstable convergence due to the variety of data on different clients' devices. In this work, we identify three under-explored phenomena of biased local learning that may explain these challenges caused by local updates in supervised FL. As a remedy, we propose FedBR, a novel unified algorithm that reduces the local learning bias on features and classifiers to tackle these challenges. FedBR has two components. The first component helps to reduce bias in local classifiers by balancing the output of the models. The second component helps to learn local features that are similar to global features, but different from those learned from other data sources. We conducted several experiments to test \algopt and found that it consistently outperforms other SOTA FL methods. Both of its components also individually show performance gains. Our code is available at https://github.com/lins-lab/fedbr.

연구 동기 및 목표

• 클라이언트 간 데이터 이질성으로 인한 피어드 학습의 느린 수렴 및 불안정성 문제를 해결하기 위해.
• 국소 학습 편향의 세 가지 미해결된 함정인 편향된 분류기, 분리된 국소 특징, 뚜렷하지 않은 특징 표현을 식별하고 체계적으로 분석하기 위해.
• 레이블이 있거나 대규모 가짜 데이터가 필요 없이, 개인정보 보호를 보장하면서 국소 학습 편향을 줄이는 통합된 방법을 개발하기 위해.
• 비독립 동일 분포(Non-IID) 데이터 분포를 가진 클라이언트 간의 수렴 안정성과 모델 성능을 향상시키기 위해.
• 높은 모델 정확도를 유지하면서도 통신 및 계산 오버헤드를 최소화하기 위해.

제안 방법

• FedBR는 클라이언트의 원본 데이터를 폭 드러내지 않고도 국소 모델 학습을 이끄는 글로벌 공유 레이블-분포 무관 가짜 데이터 세트를 사용한다.
• 첫 번째 구성 요소는 가짜 데이터에서 모델의 출력 분포를 균형 조절하여 국소 분류기의 편향을 줄인다.
• 두 번째 구성 요소는 국소 특징을 전역 특징과 정렬하면서도 다른 클라이언트의 국소 특징과는 분리시키는 최소-최대 대비 학습 목표를 적용한다.
• 이중 단계 알고리즘이 설계되었으며, 첫 번째 단계에서는 전역 및 국소 특징을 구분할 수 있는 투영 공간을 학습하고, 두 번째 단계에서는 전역 표현과 가까워지고 국소 표현과는 멀어지도록 특징를 최적화한다.
• FedAvg에 최소한의 수정으로 통합되며, 오직 한 번의 초기 전송만 필요하다: 작은 가짜 데이터 배치(이미지 분류에 따라 MNIST는 64, 그 외는 32).
• 추가 통신 및 계산 비용을 최소화하기 위해 경량의 3층 MLP를 투영 헤드로 사용한다.

실험 결과

연구 질문

• RQ1 비독립 동일 분포(Non-IID) 데이터에서 국소 학습 편향, 특히 분류기 및 특징 표현에서의 편향이 수렴에 어떤 방식으로 악영향을 미치는가?
• RQ2 레이블이 있는 글로벌 데이터에 의존하지 않고도 통합된 방법이 분류기 편향과 특징 표현 편향을 동시에 줄일 수 있는가?
• RQ3 작은, 레이블이 없는 가짜 데이터 세트가 이질적인 피어드 학습 환경에서 모델 일반화 및 수렴에 얼마나 기여할 수 있는가?
• RQ4 정확도, 통신 효율성, 데이터 불균형에 대한 강건성 측면에서 FedBR은 최신 기술(SOTA) 피어드 학습 방법과 어떻게 비교되는가?
• RQ5 FedBR은 다른 최신 기술 피어드 학습 알고리즘과 효과적으로 조합되어 성능을 추가로 향상시킬 수 있는가?

주요 결과

• FedBR는 RotatedMNIST, CIFAR10, CIFAR100에서 FedAvg 및 기타 최신 기술(SOTA) 피어드 학습 방법보다 일관되게 뛰어난 성능을 보이며, 모든 데이터셋에서 뚜렷한 정확도 향상을 달성한다.
• 학습 시작 시 오직 한 번의 미니배치 가짜 데이터 전송(이미지 분류에 따라 RotatedMNIST는 64, CIFAR10/100은 32)만으로도 전체 라운드 가짜 데이터 전송과 유사한 성능을 달성하여 낮은 통신 비용을 입증한다.
• 가짜 데이터가 균형 잡히지 않은 국소 데이터 분포에서 생성되더라도 FedBR은 뛰어난 성능 유지를 보이며, 데이터 품질에 대한 강건성을 입증한다.
• K=1 또는 K=0인 혼합 기반 가짜 데이터를 사용해도 FedAvg보다 성능 향상을 달성하며, 이는 레이블이 없는 데이터로도 개인정보 보호 기능이 작동함을 확인한다.
• FedBR는 FedNTD, FedCM, FedDecorr와 같은 다른 최신 기술 방법과 통합되었을 때 성능 향상을 이끌어내어 뛰어난 호환성과 일반화 능력을 보여준다.
• 레이블이 있는 글로벌 데이터를 사용하는 VHL 방법과 비교해도, FedBR로 학습된 국소 모델는 동등하거나 그 이상의 성능을 달성한다.