[논문 리뷰] FedEntropy: Efficient Device Grouping for Federated Learning Using Maximum Entropy Judgment

Zhiwei Ling, Zhihao Yue외 4명|arXiv (Cornell University)|2022. 05. 24.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

FedEntropy는 평균화 전에 고품질의 로컬 모델을 선택하기 위해 최대 엔트로피 판단을 사용하는 동적 디바이스 그룹화 방법을 제안한다. 선택된 디바이스들로부터의 소프트 레이블을 평가하고, 총 엔트로피를 최대화하는 모델들만 업로드함으로써, FedEntropy는 분류 정확도를 향상시키고 통신 오버헤드를 줄이며, CIFAR-10, Fashion-MNIST 및 EMNIST 벤치마크에서 최신 기술보다 뛰어난 성능을 발휘한다.

ABSTRACT

Along with the popularity of Artificial Intelligence (AI) and Internet-of-Things (IoT), Federated Learning (FL) has attracted steadily increasing attentions as a promising distributed machine learning paradigm, which enables the training of a central model on for numerous decentralized devices without exposing their privacy. However, due to the biased data distributions on involved devices, FL inherently suffers from low classification accuracy in non-IID scenarios. Although various device grouping method have been proposed to address this problem, most of them neglect both i) distinct data distribution characteristics of heterogeneous devices, and ii) contributions and hazards of local models, which are extremely important in determining the quality of global model aggregation. In this paper, we present an effective FL method named FedEntropy with a novel dynamic device grouping scheme, which makes full use of the above two factors based on our proposed maximum entropy judgement heuristic.Unlike existing FL methods that directly aggregate local models returned from all the selected devices, in one FL round FedEntropy firstly makes a judgement based on the pre-collected soft labels of selected devices and then only aggregates the local models that can maximize the overall entropy of these soft labels. Without collecting local models that are harmful for aggregation, FedEntropy can effectively improve global model accuracy while reducing the overall communication overhead. Comprehensive experimental results on well-known benchmarks show that, FedEntropy not only outperforms state-of-the-art FL methods in terms of model accuracy and communication overhead, but also can be integrated into them to enhance their classification performance.

연구 동기 및 목표

• 디바이스 간 통계적 데이터 이질성으로 인한 비독립 동일 분포(non-IID) 피드어워드 학습에서 낮은 분류 정확도 문제를 해결한다.
• 모든 디바이스를 동일하게 취급하고 데이터 분포 특성이나 모델 기여도를 평가하지 않는 기존 FL 방법의 한계를 극복한다.
• 집합 전에 해로운 또는 저품질의 로컬 모델을 걸러내는 동적 디바이스 그룹화 전략을 개발하여 글로벌 모델 품질을 향상시킨다.
• 모델 정확도를 유지하거나 향상시키면서도 업로드할 모델 수를 줄여 통신 오버헤드를 최소화한다.
• 기존 FL 최적화 기법과 호환되며, 지능적인 디바이스 선택을 통해 성능 향상을 이끌 수 있는 프레임워크를 설계한다.

제안 방법

• 두 단계의 디바이스 그룹화 메커니즘 제안: 첫째, 선택된 디바이스들로부터 소프트 레이블을 수집하고, 둘째, 최대 엔트로피 판단을 적용하여 집합에 적합한 가장 정보가 풍부한 모델들만 선택한다.
• 소프트 레이블의 정보량을 측정하기 위해 엔트로피를 사용하며, 다양한 예측과 대표성을 가진 결과를 선호한다.
• 클라우드에서 엔트로피 기여도에 따라 디바이스를 양성 및 음성 디바이스 풀로 분류하여 선택적 집합을 가능하게 한다.
• 선택 과정을 최적화 문제로 공식화: 조합된 소프트 레이블이 총 엔트로피를 최대화하는 디바이스의 부분집합을 선택한다.
• 초기에는 소프트 레이블만 업로드함으로써 통신 효율성을 확보하고, 이후에는 엔트로피를 최대화하는 로컬 모델들만 선택적으로 업로드한다.
• FedAvg, FedProx, SCAFFOLD, Moon 등의 기존 FL 프레임워크와 통합하여 호환성과 성능 향상을 입증한다.

실험 결과

연구 질문

• RQ1 최대 엔트로피 판단이 비독립 동일 분포(non-IID) FL 환경에서 글로벌 모델의 다양성과 정확도에 가장 기여하는 로컬 모델을 효과적으로 식별하고 우선순위를 매울 수 있는가?
• RQ2 제안된 동적 디바이스 그룹화 메커니즘은 수렴 속도와 최종 정확도 측면에서 정적 또는 균일 집합과 비교해 어떻게 성능을 발휘하는가?
• RQ3 실제 비독립 동일 분포(non-IID) 데이터 분포에서 성능 저하 없이 FedEntropy가 통신 오버헤드를 얼마나 줄일 수 있는가?
• RQ4 엔트로피 기반 선택 메커니즘이 기존 FL 최적화 기법과 효과적으로 통합되어 성능 향상을 이끌 수 있는가?
• RQ5 다양한 데이터셋과 다양한 수준의 데이터 비독립 동일 분포(non-IIDness)에서 이 방법의 강건성은 어느 정도인가?

주요 결과

• FedEntropy는 모든 비독립 동일 분포(non-IID) 시나리오에서 CIFAR-10, Fashion-MNIST 및 EMNIST에서 최신 기술보다 높은 테스트 정확도를 달성했으며, 일부 경우에서 최대 10% 향상된 바 있다.
• CIFAR-10에서 FedEntropy는 세 가지 비독립 동일 분포(non-IID) 설정에서 목표 정확도 수준(30%, 50%, 50%)에 도달하기 위해 가장 적은 통신 라운드 수와 가장 낮은 통신 오버헤드를 기록했다.
• FedAvg, FedProx, SCAFFOLD 또는 Moon와 결합했을 때 FedEntropy는 성능을 크게 향상시켰다. 예를 들어, 동일한 벤치마크에서 FedAvg+FedEntropy는 SCAFFOLD를 초월하는 정확도를 달성했다.
• 절단 실험을 통해 최대 엔트로피 판단과 양성/음성 디바이스 풀 메커니즘이 성능 향상에 필수적임을 확인했으며, 이 중 하나를 제거할 경우 정확도가 떨어졌다.
• 이 방법은 뛰어난 호환성을 보였으며, 기존 FL 프레임워크에 FedEntropy를 통합함으로써 항상 분류 정확도가 향상되었고 복잡도는 증가하지 않았다.
• FedEntropy의 통신 오버헤드는 첫 번째 단계(소프트 레이블 업로드)에서는 무시할 수 있으며, 두 번째 단계에서는 FedAvg와 최대 동일한 수준이므로, 대역폭 제약이 있는 환경에서도 효율적이다.