[논문 리뷰] FedFA: Federated Learning with Feature Anchors to Align Features and Classifiers for Heterogeneous Data

Tailin Zhou, Jun Zhang외 1명|arXiv (Cornell University)|2022. 11. 17.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

FedFA는 데이터 이질성 하에서 특성 불일치와 분류기 발산이라는 악순환을 깨뜨리기 위해 특성 앵커를 사용하는 새로운 피어드 학습 프레임워크를 제안한다. 이는 클라이언트의 특성 정렬과 분류기 캘리브레이션을 동시에 수행함으로써, 레이블 및 특성 분포의 비대칭성 하에서도 최신 기술 수준의 성능을 달성한다. 특성과 분류기의 공동 최적화를 통해 기존 방법 대비 최대 22.37%의 정확도 향상을 이룬다.

ABSTRACT

Federated learning allows multiple clients to collaboratively train a model without exchanging their data, thus preserving data privacy. Unfortunately, it suffers significant performance degradation due to heterogeneous data at clients. Common solutions involve designing an auxiliary loss to regularize weight divergence or feature inconsistency during local training. However, we discover that these approaches fall short of the expected performance because they ignore the existence of a vicious cycle between feature inconsistency and classifier divergence across clients. This vicious cycle causes client models to be updated in inconsistent feature spaces with more diverged classifiers. To break the vicious cycle, we propose a novel framework named Federated learning with Feature Anchors (FedFA). FedFA utilizes feature anchors to align features and calibrate classifiers across clients simultaneously. This enables client models to be updated in a shared feature space with consistent classifiers during local training. Theoretically, we analyze the non-convex convergence rate of FedFA. We also demonstrate that the integration of feature alignment and classifier calibration in FedFA brings a virtuous cycle between feature and classifier updates, which breaks the vicious cycle existing in current approaches. Extensive experiments show that FedFA significantly outperforms existing approaches on various classification datasets under label distribution skew and feature distribution skew.

연구 동기 및 목표

• 데이터 이질성, 특히 레이블 및 특성 분포의 비대칭성으로 인한 피어드 학습 성능 저하 문제를 해결하기 위해.
• 기존 정규화 방법의 성능을 저해하는 특성 불일치와 분류기 발산 간의 악순환을 규명하고 해결하기 위해.
• 공유된 특성 공간 내에서 클라이언트 간에 특성 정렬과 분류기 캘리브레이션을 동시에 수행하는 통합 프레임워크를 설계하기 위해.
• 특성과 분류기의 공동 최적화가 수렴성과 일반화 능력을 향상시키는 선순환을 생성함을 입증하기 위해.
• 다양한 데이터셋과 이질성 상황(극단적 비대칭 조건 포함)에서 FedFA의 효과성을 검증하기 위해.

제안 방법

• 각 클래스별로 학습 가능한 프로토타입인 특성 앵커를 도입하여, 서로 다른 데이터 분포 간의 클라이언트 특성을 정렬하기 위한 공통 기준점을 제공한다.
• 특성 앵커를 활용해 클라이언트의 특성을 공유된 특성 공간으로 투영함으로써, 국부적 학습 중 클라이언트 간 특성 불일치를 감소시킨다.
• 모멘타임 기반 업데이트를 통해 클래스별 앵커를 이용한 분류기 캘리브레이션을 적용하여, 클라이언트 간 분류기 발산을 줄인다.
• 이중 최적화 메커니즘을 활용: 앵커를 통한 특성 정렬과 모멘타임을 통한 분류기 캘리브레이션을 통해 특성과 분류기 업데이트 간 선순환을 창출한다.
• 수정된 FedAvg 알고리즘과 특성 앵커 업데이트를 통합하여, 각 커뮤니케이션 라운드에서 클라이언트 기울기를 사용해 앵커를 업데이트한다.
• 프레임워크는 특성 추출기와 분류기가 동일한 앵커 기반 기준 공간에 따라 업데이트되도록 하여 일관성을 유지한다.

실험 결과

연구 질문

• RQ1 특성 불일치와 분류기 발산이 동시에 존재할 경우, 이들이 상호 강화하는 악순환을 형성하여 피어드 학습 성능을 악화시키는가?
• RQ2 공유된 특성 앵커를 통한 특성 정렬과 분류기 캘리브레이션의 공동 적용이 이 악순환을 깰 수 있고, 수렴성 및 정확도 향상에 기여하는가?
• RQ3 앵커 업데이트의 모멘타임 계수 및 앵커 초기화와 같은 하이퍼파라미터에 대해 FedFA는 얼마나 민감한가?
• RQ4 학습 중에 지속적이고 조기에 분류기 캘리브레이션을 수행하는 것이 학습 후 캘리브레이션보다 성능을 더 좋게 만드는가?
• RQ5 FedFA는 극단적인 레이블 및 특성 분포 비대칭 조건을 포함한 다양한 데이터 이질성 상황에서 일반화 가능한가?

주요 결과

• FedFA는 레이블 및 특성 분포 비대칭 조건 하에서 여러 데이터셋에서 FedAvg 및 기타 최신 기술 수준의 방법들을 뛰어넘으며, 둘 다 존재할 경우 최대 22.37%의 정확도 향상을 기록한다.
• 성능 향상의 대부분은 분류기 캘리브레이션에 기인하며, 병합된 비대칭 조건에서 22.37%의 정확도 향상이 발생하여, 이는 발산을 완화하는 데서 중요한 역할을 한다.
• 앵커 업데이트에 대한 모멘타임 계수에 대해 높은 내구성을 보이며, 다양한 값에서도 성능이 안정적으로 유지된다.
• 특성 앵커의 초기화가 장기적으로 큰 영향을 미치지 않으며, 앵커 업데이트가 빠르게 초기 차이를 보정함으로써 안정적인 수렴을 보장한다.
• 각 미니배치의 끝에서 분류기 캘리브레이션을 수행할 경우 최고의 성능을 기록하며, 이는 분류기 발산을 조기에 지속적으로 교정하는 것이 필수적임을 시사한다.
• 학습 중 캘리브레이션을 적용한 FedFA는 FMNIST에서 #C=2 및 레이블 비대칭 조건에서 84.90%의 정확도를 기록했으며, 캘리브레이션 없이 적용한 FedFA(76.81%) 및 학습 후 캘리브레이션을 적용한 FedAvg(75.95%)를 모두 초월한다.