[논문 리뷰] Federated Learning on Heterogeneous and Long-Tailed Data via Classifier Re-Training with Federated Features

Xinyi Shang, Yang Lu외 2명|arXiv (Cornell University)|2022. 04. 28.

Privacy-Preserving Technologies in Data인용 수 11

한 줄 요약

이 논문은 데이터 이질성과 장꼬리 클래스 불균형 문제를 해결하기 위해, 합성 연합 특징을 사용하여 글로벌 분류기 재학습하는 프라이버시 보장 연합 학습 방법인 CReFF를 제안한다. 연합 특징을 실제 데이터 기울기와 일치하도록 최적화함으로써, CReFF는 데이터 泄露나 국소 데이터 분포 노출 없이도 전체 데이터 재학습 수준의 성능을 달성하며, CIFAR-10-LT 및 ImageNet-LT에서 최신 기술보다 뛰어난 성능을 보였다.

ABSTRACT

Federated learning (FL) provides a privacy-preserving solution for distributed machine learning tasks. One challenging problem that severely damages the performance of FL models is the co-occurrence of data heterogeneity and long-tail distribution, which frequently appears in real FL applications. In this paper, we reveal an intriguing fact that the biased classifier is the primary factor leading to the poor performance of the global model. Motivated by the above finding, we propose a novel and privacy-preserving FL method for heterogeneous and long-tailed data via Classifier Re-training with Federated Features (CReFF). The classifier re-trained on federated features can produce comparable performance as the one re-trained on real data in a privacy-preserving manner without information leakage of local data or class distribution. Experiments on several benchmark datasets show that the proposed CReFF is an effective solution to obtain a promising FL model under heterogeneous and long-tailed data. Comparative results with the state-of-the-art FL methods also validate the superiority of CReFF. Our code is available at https://github.com/shangxinyi/CReFF-FL.

연구 동기 및 목표

• 연합 학습에서 데이터 이질성과 장꼬리 클래스 분포가 모델 성능을 심각하게 떨어뜨리는 복합 문제를 해결하기 위해.
• 이러한 환경에서 낮은 글로벌 모델 성능의 주요 원인으로 편향된 분류기를 규명하기 위해.
• 국소 데이터나 클래스 분포를 노출하지 않으면서도 모델 정확도를 향상시키는 프라이버시 보장 방법을 개발하기 위해.
• 실제 클라이언트 데이터를 사용하지 않고도 서버에서 합성 연합 특징만을 사용해 효과적인 분류기 재학습을 가능하게 하기 위해.
• 연합 특징 기반 분류기 재학습이 실제 데이터 기반 재학습 성능을 재현할 수 있음을 검증하기 위해.

제안 방법

• 이 방법은 연합 학습을 두 단계로 분리한다: FedAvg를 통한 특징 추출 및 서버에서의 분류기 재학습.
• 서버에서 연합 특징을 최적화하여 실제 데이터 특징의 기울기 방향을 따라가도록 합성한다. 이를 위해 기울기 일치 손실을 사용한다.
• 기울기 일치 손실은 연합 특징 기반으로 학습된 분류기가 실제 데이터 기반으로 학습된 것과 유사한 최적화 경로를 따르도록 보장한다.
• 각 클래스당 소수의 균형 잡힌 연합 특징(예: 1~200개)만 생성되므로, 통신 및 저장 비용을 최소화한다.
• 이 방법은 프라이버시를 보장하는 데 기여한다. 연합 특징이 실제 특징과 유사할 필요는 없고, 오직 기울기 방향만 일치하면 된다.
• 이러한 합성된 균형 잡힌 연합 특징을 사용해 서버에서 분류기를 재학습함으로써, 국소 데이터나 클래스 분포 노출 없이도 성능 향상을 달성한다.

실험 결과

연구 질문

• RQ1 왜 연합 특징 기반 분류기 재학습이 실제 데이터 기반 재학습과 유사한 성능을 달성하는가?
• RQ2 연합 특징과 실제 특징 간의 기울기 일치 손실은 학습 과정에서 어떻게 변화하는가?
• RQ3 합성 연합 특징가 얼마나 효과적으로 프라이버시를 보존하면서도 효과적인 분류기 재학습을 가능하게 하는가?
• RQ4 클래스당 몇 개의 연합 특징이 성능 향상에 충분한가?
• RQ5 극도의 데이터 이질성과 장꼬리 불균형 조건에서 CReFF는 최신 기술 기반 연합 학습 방법보다 어떻게 비교되는가?

주요 결과

• IF=100, α=0.1 조건에서 CIFAR-10-LT에서 CReFF는 FedAvg 대비 18% 성능 향상을 기록하여 극도의 이질성과 장꼬리 불균형 상황에서도 뛰어난 효과를 입증했다.
• CIFAR-10-LT 및 ImageNet-LT에서 CReFF는 모든 최신 기술 기반 FL 방법을 압도하며, 다수, 중수, 소수 클래스 모두에서 최고의 정확도를 달성했다.
• 클래스당 하나의 연합 특징만으로도 CReFF는 IF=100 조건에서 CIFAR-10-LT에서 정확도를 4.21% 향상시켜 최소 자원 조건에서도 뛰어난 강건성을 보였다.
• 몇 차례 학습 라운드 내로 연합 특징과 실제 특징 간의 기울기 비유사도가 거의 0에 수렴함으로써 효과적인 기울기 일치가 이루어졌음을 확인했다.
• 연합 특징과 실제 특징 간의 코사인 비유사도는 높은 수준을 유지하여, 합성 특징가 재구성 불가능함을 확인했으며, 이는 프라이버시 보장이 이루어졌음을 뒷받침한다.
• CReFF의 성능 향상은 안정적이고 확장 가능했으며, 클래스당 100~200개 이상의 연합 특징을 초과하면 수익 감소 현상이 나타났다.