[논문 리뷰] HFEL: Joint Edge Association and Resource Allocation for Cost-Efficient Hierarchical Federated Edge Learning

Siqi Luo, Xu Chen외 3명|arXiv (Cornell University)|2020. 02. 26.

Privacy-Preserving Technologies in Data참고 문헌 26인용 수 14

한 줄 요약

이 논문은 에너지 소비와 지연 시간 측면에서 훈련 비용을 최소화하기 위해 에지 연결과 자원 할당을 공동 최적화하는 계층적 페더레이티드 에지 학습(HFEL) 프레임워크를 제안한다. 문제를 각 에지 서버별 자원 할당과 반복적인 에지 연결 조정으로 분해함으로써, 기존의 페더레이티드 러닝과 비교해 비용 절감과 함께 모델 정확도 향상을 달성한다.

ABSTRACT

Federated Learning (FL) has been proposed as an appealing approach to handle data privacy issue of mobile devices compared to conventional machine learning at the remote cloud with raw user data uploading. By leveraging edge servers as intermediaries to perform partial model aggregation in proximity and relieve core network transmission overhead, it enables great potentials in low-latency and energy-efficient FL. Hence we introduce a novel Hierarchical Federated Edge Learning (HFEL) framework in which model aggregation is partially migrated to edge servers from the cloud. We further formulate a joint computation and communication resource allocation and edge association problem for device users under HFEL framework to achieve global cost minimization. To solve the problem, we propose an efficient resource scheduling algorithm in the HFEL framework. It can be decomposed into two subproblems: \emph{resource allocation} given a scheduled set of devices for each edge server and \emph{edge association} of device users across all the edge servers. With the optimal policy of the convex resource allocation subproblem for a set of devices under a single edge server, an efficient edge association strategy can be achieved through iterative global cost reduction adjustment process, which is shown to converge to a stable system point. Extensive performance evaluations demonstrate that our HFEL framework outperforms the proposed benchmarks in global cost saving and achieves better training performance compared to conventional federated learning.

연구 동기 및 목표

• 클라우드 기반 모델 집계 빈도가 높아 발생하는 기존 페더레이티드 러닝의 높은 통신 및 에너지 오버헤드를 해결하기 위해.
• 클라우드에서 근접한 에지 서버로 부분 모델 집계를 이행함으로써 네트워크 혼잡도를 완화하고 훈련 지연을 감소시키기 위해.
• 전역 훈련 비용을 최소화하기 위해 기기와 에지 서버 간의 계산 및 통신 자원 할당에 대한 공동 최적화 문제를 수립하기 위해.
• 수렴 가능한 안정적이고 비용 효율적인 시스템 상태에 도달하기 위해 반복적으로 에지 연결과 자원 할당을 개선하는 효율적인 알고리즘 설계하기 위해.
• 에지 중개자가 없는 기준 페더레이티드 러닝과 비교해 더 나은 훈련 성능과 낮은 전역 비용을 달성하기 위해.

제안 방법

• 에지 서버가 부분 모델 집계를 수행함으로써 WAN 트래픽과 지연을 줄이는 계층적 페더레이티드 에지 학습(HFEL) 프레임워크를 제안한다.
• 전체 훈련 비용(에너지 + 지연)을 최소화하기 위해 기기 자원 할당과 에지 연결에 대한 공동 최적화 문제를 수립한다.
• 문제를 두 개의 하위문제로 분해한다: (1) 기기 집합이 주어졌을 때 각 에지 서버별 최적 자원 할당, (2) 전역 비용 감소를 통한 반복적 에지 연결 조정.
• 라그랑주 승수를 활용한 최적 정책과 KKT 조건을 기반으로 볼록 자원 할당 하위문제를 해결한다.
• 반복적인 전역 비용 감소 알고리즘을 적용해 기기-에지 연결을 조정함으로써 안정된 시스템 지점에 수렴함을 보장한다.
• 다중 에지 서버 간 기기 스케줄링과 자원 할당 간의 결합 문제를 다루기 위해 이중 분해 기법을 적용한다.

실험 결과

연구 질문

• RQ1 계층적 페더레이티드 에지 학습에서 훈련 비용을 최소화하기 위해 에지 연결과 자원 할당을 어떻게 공동 최적화할 수 있는가?
• RQ2 에지 서버의 근접성과 기기 연결이 FL에서 통신 지연과 에너지 소비에 어떤 영향을 미치는가?
• RQ3 분해 기반 알고리즘이 HFEL에서 안정적이고 비용 효율적인 시스템 지점에 수렴할 수 있는가?
• RQ4 HFEL은 기존의 페더레이티드 러닝과 비교해 훈련 비용, 정확도, 수렴 속도 측면에서 어떻게 다를까?
• RQ5 에지 지원 페더레이티드 러닝에서 기기 연결 밀도와 기기당 통신 자원 가용성 사이의 상호 교환 관계는 어떠한가?

주요 결과

• HFEL은 에지 서버에 모델 집계를 이관함으로써 기존의 페더레이티드 러닝과 비교해 전역 훈련 비용을 크게 감소시킨다.
• 반복적인 비용 감소를 통해 안정된 시스템 지점에 수렴하는 제안된 알고리즘은 실용적 구현 가능성을 보장한다.
• 기본 페더레이티드 러닝보다 더 높은 전역 및 테스트 정확도와 낮은 훈련 손실을 달성함으로써 개선된 모델 성능을 입증한다.
• 에지 연결과 자원 할당의 공동 최적화로 에너지 소비와 훈련 지연 양측 모두에 상당한 감소 효과를 얻는다.
• 광범위한 평가 결과, HFEL은 현실적인 네트워크 및 기기 제약 조건 하에서 비용 효율성과 훈련 성능 측면에서 벤치마크 방법을 능가함을 확인한다.
• 계산 능력, 배터리 상태, 데이터 품질 측면에서 기기의 이질성을 효과적으로 처리함으로써 확장 가능하고 비용 효율적인 페더레이티드 러닝을 가능하게 한다.