[논문 리뷰] Context-Aware Online Client Selection for Hierarchical Federated Learning

Zhe Qu, Rui Duan외 4명|arXiv (Cornell University)|2021. 12. 01.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 계층적 분산학습(HFL)을 위한 학습 기반 클라이언트 선택 정책으로서 Context-aware Online Client Selection (COCS)을 제안한다. COCS는 실시간 환경 조건(예: 클라이언트의 계산 능력 및 무선 채널 상태)을 기반으로 동적으로 클라이언트를 선택하기 위해 맥락 기반 조합 다중 손잡이 밴딧(CC-MAB)을 사용한다. COCS는 비선형 회귀를 보이며, 기준선 대비 훨씬 뛰어난 학습 성능을 달성한다. 비선형 설정에서 CIFAR-10 데이터셋에서 67.93%의 테스트 정확도를 기록했으며, 오라클 정책과 0.48% 이내의 정확도 격차를 보였다.

ABSTRACT

Federated Learning (FL) has been considered as an appealing framework to tackle data privacy issues of mobile devices compared to conventional Machine Learning (ML). Using Edge Servers (ESs) as intermediaries to perform model aggregation in proximity can reduce the transmission overhead, and it enables great potentials in low-latency FL, where the hierarchical architecture of FL (HFL) has been attracted more attention. Designing a proper client selection policy can significantly improve training performance, and it has been extensively used in FL studies. However, to the best of our knowledge, there are no studies focusing on HFL. In addition, client selection for HFL faces more challenges than conventional FL, e.g., the time-varying connection of client-ES pairs and the limited budget of the Network Operator (NO). In this paper, we investigate a client selection problem for HFL, where the NO learns the number of successful participating clients to improve the training performance (i.e., select as many clients in each round) as well as under the limited budget on each ES. An online policy, called Context-aware Online Client Selection (COCS), is developed based on Contextual Combinatorial Multi-Armed Bandit (CC-MAB). COCS observes the side-information (context) of local computing and transmission of client-ES pairs and makes client selection decisions to maximize NO's utility given a limited budget. Theoretically, COCS achieves a sublinear regret compared to an Oracle policy on both strongly convex and non-convex HFL. Simulation results also support the efficiency of the proposed COCS policy on real-world datasets.

연구 동기 및 목표

• 시간에 따라 변하는 클라이언트-에지 서버(ES) 연결성과 제한된 네트워크 운영자(NO) 예산이라는 고유한 과제를 안고 있는 계층적 분산학습(HFL)을 고려해, 이를 전용으로 설계된 클라이언트 선택 전략의 부족을 해결한다.
• 각 라운드에서 성공적으로 참여하는 클라이언트 수를 최대화하면서도 각 ES의 예산 제약을 준수함으로써 HFL의 학습 성능을 향상시킨다.
• 사전에 클라이언트 성능에 대한 지식 없이도 실시간 맥락(예: 전송 품질, 계산 자원 가용성)에서 학습하는 온라인이고 적응형 클라이언트 선택 정책을 설계한다.
• 정적 최적화 기반 정책의 한계를 극복하기 위해, 동적인 및 불확실한 HFL 네트워크 조건에 적응할 수 있는 학습 기반 접근법을 도입한다.

제안 방법

• 불확실성 하에서 순차적 의사결정 문제로 클라이언트 선택을 모델링하기 위해 맥락 기반 조합 다중 손잡이 밴딧(CC-MAB) 프레임워크를 기반으로 COCS를 개발한다.
• 클라이언트의 계산 자원, 에지 서버(ES)까지의 거리, 무선 채널 대역폭 등의 부가 정보(맥락)를 사용하여 클라이언트 참여 성공 확률을 추정한다.
• 각 ES의 총 임대 예산 제약 조건 하에, 성공적으로 참여한 클라이언트 수에 따라 NO의 유틸리티를 함수로 정의한다.
• 누적 유틸리티를 최대화하기 위해 탐색(성능이 떨어지는 클라이언트-ES 쌍 테스트)과 이용(성공 확률이 높은 쌍 선택)을 균형 잡는 밴딧 기반 학습 메커니즘을 구현한다.
• 유사한 클라이언트-ES 쌍을 초입방정식으로 그룹화하기 위해 맥락 공간에 대한 분할 전략을 적용하여 참가 확률 추정을 효율적으로 수행한다.
• 이론적 분석을 통해 COCS가 강凸 및 비강凸 HFL 설정 모두에서 오라클 정책 대비 하위선형 회귀를 달성함을 증명한다.

실험 결과

연구 질문

• RQ1 시간에 따라 변하는 클라이언트-에지 서버(ES) 연결성과 제한된 네트워크 운영자 예산 조건 하에서 HFL의 클라이언트 선택을 어떻게 최적화할 수 있는가?
• RQ2 네트워크 조건이 불확실하고 동적인 상황에서, 학습 기반 접근법이 정적 또는 최적화 기반 클라이언트 선택 정책을 초월할 수 있는가?
• RQ3 계산 능력, 채널 품질 등의 맥락 정보를 통합할 경우 HFL에서 클라이언트 선택 성능이 얼마나 향상되는가?
• RQ4 온라인 클라이언트 선택 정책의 이론적 성능 보장은 무엇이며, 시간이 지남에 따라 near-최적 결정으로 수렴하는가?

주요 결과

• COCS는 강凸 및 비강凸 HFL 설정 모두에서 하위선형 회귀를 달성하여 오라클 정책에 대해 渐近적으로 최적의 성능을 보인다.
• CNN 모델을 사용한 CIFAR-10 데이터셋에서 COCS는 67.93%의 테스트 정확도를 기록했으며, LinUCB(65.19%), CUCB(63.76%), Random(62.25%) 정책을 모두 앞서며 성능을 뛰어넘었다.
• 비강凸 설정에서 COCS는 오라클 정책 대비 10% 적은 학습 라운드를 요구하며, 오라클 정책이 92라운드에서 수렴하는 데 비해 101라운드 만에 수렴했다.
• 8초의 마감 시간 제약 하에서 COCS의 누적 유틸리티는 5,378에 도달했으며, 이는 특정 마감 시간 또는 예산 증가 이후 수익 감소를 보였다.
• 예산을 3.5에서 5 단위로 증가시켰을 때 누적 유틸리티가 향상되었지만, 이후 추가 증가는 저속도 클라이언트-에지 서버 쌍의 내재된 제약으로 인해 미미한 성과 향상만을 가져왔다.
• 비강凸 설정에서 COCS와 오라클 정책 간의 정확도 격차는 강凸 설정보다 작으며(0.48% 차이), 이는 비강凸 설정에서 근사 오라클 정책을 사용했기 때문이다.