[논문 리뷰] Analysis and Optimal Edge Assignment For Hierarchical Federated Learning on Non-IID Data

Naram Mhaisen, Awad, Alaa외 3명|arXiv (Cornell University)|2020. 12. 10.

Privacy-Preserving Technologies in Data참고 문헌 26인용 수 4

한 줄 요약

이 논문은 비독립적이고 동일하지 않은 데이터(non-IID)로 인한 모델 성능 저하를 줄이기 위해 계층적 플러드러닝(HFL)에서 최적의 사용자-엣지 할당 전략을 제안한다. 엣지 수준의 데이터 분포와 전역 분포 간의 통계적 산란을 최소화함으로써, 클래스 분포를 엣지 노드 간 균형 있게 조절하는 히우리스틱 최적화를 통해 수렴성과 정확도를 향상시킨다.

ABSTRACT

Distributed learning algorithms aim to leverage distributed and diverse data stored at users' devices to learn a global phenomena by performing training amongst participating devices and periodically aggregating their local models' parameters into a global model. Federated learning is a promising paradigm that allows for extending local training among the participant devices before aggregating the parameters, offering better communication efficiency. However, in the cases where the participants' data are strongly skewed (i.e., non-IID), the local models can overfit local data, leading to low performing global model. In this paper, we first show that a major cause of the performance drop is the weighted distance between the distribution over classes on users' devices and the global distribution. Then, to face this challenge, we leverage the edge computing paradigm to design a hierarchical learning system that performs Federated Gradient Descent on the user-edge layer and Federated Averaging on the edge-cloud layer. In this hierarchical architecture, we formalize and optimize this user-edge assignment problem such that edge-level data distributions turn to be similar (i.e., close to IID), which enhances the Federated Averaging performance. Our experiments on multiple real-world datasets show that the proposed optimized assignment is tractable and leads to faster convergence of models towards a better accuracy value.

연구 동기 및 목표

• 사용자 기기 간 비독립적이고 동일하지 않은 데이터 분포(non-IID)로 인한 플러드러닝의 성능 저하 문제를 해결한다.
• 계층적 플러드러닝에서 사용자-엣지 할당 문제를 엣지 수준의 데이터 분포가 전역 분포로부터의 분산을 최소화하는 최적화 과제로 수식화한다.
• 엣지 컴퓨팅 인프라를 활용하여 재구성 가능하고 데이터를 균형 잡는 할당 전략을 도입함으로써 FedAvg 성능을 향상시킨다.
• 실제 세계의 제약 조건 하에서 NP-완전 문제인 할당 문제에 대해 정확한(분기 및 경계) 및 히우리스틱 해법을 개발한다.
• 균형 잡힌 엣지 수준의 데이터 분포가 실질적으로 더 빠른 수렴성과 높은 모델 정확도를 이끌어낸다는 것을 입증한다.

제안 방법

• 각 엣지의 데이터 분포와 전역 데이터 분포 간의 가중치가 부여된 L2 거리 최소화를 통해 사용자-엣지 할당 문제를 수식화한다.
• 크기가 동일한 엣지 할당을 가정하는 단순화된 선형 문제에 대해 분기 및 경계 기반 해법을 제안한다.
• 유저를 엣지에 반복적으로 할당하여 엣지 노드 간 클래스 분포를 균형 잡는 그레디 히우리스틱 알고리즘을 도입한다.
• 사용자-엣지 및 엣지-클라우드 계층에서 FedAvg 알고리즘을 사용하며, 로컬 데이터셋 크기에 따라 모델 집합을 가중치를 적용한다.
• 통신 범위 내에 있는 엣지 노드에 한해 사용자 할당을 제한함으로써 네트워크 위상 제약 조건을 통합한다.
• 다중 엣지 노드가 한 명의 사용자에게 연결된 조건에서 제어된 시뮬레이션 환경에서 실세계 데이터셋을 사용해 최적화를 검증한다.

실험 결과

연구 질문

• RQ1 지역 데이터 분포와 전역 분포 간의 통계적 산란이 계층적 플러드러닝에서 모델 수렴성에 어떤 영향을 미치는가?
• RQ2 사용자-엣지 할당을 최적화하여 엣지 수준의 데이터 분포 산란을 최소화하고, FedAvg 성능을 향상시킬 수 있는가?
• RQ3 이중 목표 최적화 프레임워크에서 사용자-엣지 분포 거리 최소화와 엣지-클라우드 분포 거리 최소화 사이의 상충 관계는 어떠한가?
• RQ4 히우리스틱 기반의 사용자-엣지 할당 전략은 엣지 노드 간 균형 잡힌 데이터 분포를 달성하는 데 얼마나 효과적인가?
• RQ5 최적화된 사용자-엣지 할당 전략은 non-IID 환경에서 수렴 속도와 최종 모델 정확도를 어느 정도 향상시키는가?

주요 결과

• 중앙 집중식 모델에서의 편차 상한은 각 노드의 데이터 분포와 전역 분포 간의 가중 거리 비례하며, 이 분산을 최소화할 필요가 있음을 검증한다.
• 제안된 히우리스틱 사용자-엣지 할당 방법은 여러 실세계 데이터셋에서 무작위 또는 최적화되지 않은 할당 대비 더 빠른 수렴성과 높은 최종 정확도를 달성한다.
• 사용자가 오직 두 개의 엣지 노드만 범위 내에 있는 데이터셋에서는 최적화된 할당이 뚜렷한 성능 향상을 이끌어내어 실용적 타당성을 입증한다.
• 히우리스틱 접근법은 특히 클래스 분포가 균형 잡혀 있을 경우 단순화된 경우의 최적 해에 근접한 부분 최적 해를 도출한다.
• 문제는 NP-완전이지만, 히우리스틱은 실시간으로 모바일 및 엣지 학습 시스템에 적용 가능한 타당하고 확장 가능한 해법을 제공한다.
• 미래 연구에서는 사용자-엣지 간 통신 지연이 심각해질 경우를 고려한 이중 목표 최적화, 즉 사용자-엣지 및 엣지-클라우드 분포 거리의 균형을 고려한 최적화가 필요하다.