[논문 리뷰] Auction Based Clustered Federated Learning in Mobile Edge Computing System

Renhao Lu, Weizhe Zhang외 3명|arXiv (Cornell University)|2021. 03. 12.

Privacy-Preserving Technologies in Data참고 문헌 27인용 수 8

한 줄 요약

이 논문은 데이터 이질성(Non-IID 및 불균형 데이터)과 에너지 제약을 다루는 모바일 엣지 컴퓨팅을 위한 경매 기반 클러스터링 연합 학습 프레임워크를 제안한다. 모델 유사성에 기반해 클라이언트를 클러스터링하고, 클러스터 내에서 에너지 소비와 수렴 속도를 균형 잡는 경매 기법을 사용함으로써, 현실적인 데이터 분포와 자원 제약 조건 하에서도 더 빠른 수렴 속도와 향상된 모델 정확도를 달성한다.

ABSTRACT

In recent years, mobile clients' computing ability and storage capacity have greatly improved, efficiently dealing with some applications locally. Federated learning is a promising distributed machine learning solution that uses local computing and local data to train the Artificial Intelligence (AI) model. Combining local computing and federated learning can train a powerful AI model under the premise of ensuring local data privacy while making full use of mobile clients' resources. However, the heterogeneity of local data, that is, Non-independent and identical distribution (Non-IID) and imbalance of local data size, may bring a bottleneck hindering the application of federated learning in mobile edge computing (MEC) system. Inspired by this, we propose a cluster-based clients selection method that can generate a federated virtual dataset that satisfies the global distribution to offset the impact of data heterogeneity and proved that the proposed scheme could converge to an approximate optimal solution. Based on the clustering method, we propose an auction-based clients selection scheme within each cluster that fully considers the system's energy heterogeneity and gives the Nash equilibrium solution of the proposed scheme for balance the energy consumption and improving the convergence rate. The simulation results show that our proposed selection methods and auction-based federated learning can achieve better performance with the Convolutional Neural Network model (CNN) under different data distributions.

연구 동기 및 목표

• 모바일 엣지 클라이언트 간의 데이터 이질성—특히 Non-IID 및 불균형 데이터 분포—문제를 해결한다.
• 에너지 소비 제약을 완화하기 위해 에너지 균형 잡힌 클라이언트 선택을 가능하게 한다.
• 클라이언트 클러스터링과 인cent라이브 기반 선택을 활용해 연합 학습의 수렴 속도와 모델 정확도를 향상시킨다.
• 전략적 안정성과 공정성을 보장하는 나시 균형 기반 경매 기법을 설계한다.

제안 방법

• 초기 기울기 유사성에 기반한 클라이언트 클러스터링 전략을 제안하여 전역 데이터 분포를 근사하는 연합 가상 데이터셋을 형성한다.
• 각 클러스터 내에서 클라이언트가 에너지 수준과 모델 품질에 따라 입찰함으로써 참가자를 선정하는 경매 기법을 적용한다.
• 경매 과정에서 나시 균형 해법을 사용하여 클라이언트 참가 결정의 안정성과 공정성을 보장한다.
• 리프시츠 연속성과 강력 볼록성 가정 하에서 이론적 수렴 분석을 수행하고, 약간의 최적해로 수렴함을 증명한다.
• 단계 크기 규칙을 적용하고, 모델 부드러움과 클라이언트 에너지와 관련된 상수를 사용해 손실 함수의 기대 감소를 경계한다.
• 기대 손실 갭이 지수적으로 감소하는 수렴 경계를 유도하며, 잔여 오차는 시스템 파라미터에 의존한다.

실험 결과

연구 질문

• RQ1 초기 기울기 기반 클러스터링이 연합 학습에서 Non-IID 및 불균형 데이터의 영향을 효과적으로 완화할 수 있는가?
• RQ2 클러스터 내 경매 기법이 모바일 엣지 연합 학습에서 에너지 소비와 수렴 속도를 어떻게 균형 잡을 수 있는가?
• RQ3 제안된 기법이 클라이언트 참가 결정에서 나시 균형을 달성하여 전략적 안정성과 공정성을 보장하는가?
• RQ4 클러스터링과 경매 기반 선택은 랜덤 또는 비클러스터링 선택 대비 수렴 속도와 모델 정확도를 어느 정도 향상시키는가?
• RQ5 제안된 클라이언트 선택 및 클러스터링 전략 하에서 수렴에 대해 어떤 이론적 보장이 가능한가?

주요 결과

• 제안된 클러스터링 기반 클라이언트 선택 방법은 전역 데이터 분포를 근사하는 연합 가상 데이터셋을 생성하여 데이터 이질성의 부정적 영향을 효과적으로 감소시킨다.
• 경매 기법은 나시 균형을 달성하여 에너지 소비와 수렴 성능를 균형 잡은 안정적이고 공정한 클라이언트 참가 결정을 보장한다.
• 이론적 분석을 통해 알고리즘이 리프시츠 연속성과 강력 볼록성 조건 하에서 약간의 최적해로 수렴하며, 기대 손실 갭이 최소 에너지 수준과 모델 부드러움에 반비례하는 항으로 경계됨을 증명한다.
• 시뮬레이션 결과는 다양한 Non-IID 및 불균형 데이터 분포 하에서 기준 방법 대비 더 빠른 수렴 속도와 높은 모델 정확도를 보임을 보여준다.
• 특히 높은 데이터 이질성과 제한된 클라이언트 에너지가 존재하는 시스템에서 제안된 기법을 사용할 경우 수렴 속도가 크게 향상된다.