[논문 리뷰] MDA: Availability-Aware Federated Learning Client Selection

Amin Eslami Abyane, Steve Drew외 1명|arXiv (Cornell University)|2022. 11. 25.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 교차 장치 피드포워드 학습을 위한 최초의 가용성 인지 클라이언트 선택 전략인 MDA를 제안하며, 타임아웃 라운드를 줄이고 수렴 속도를 빠르게 함으로써 학습 효율성을 향상시킨다. 클라이언트의 가용성 이력 정보를 선택 결정에 통합함으로써 MDA는 순수한 랜덤 선택 대비 최대 6.5%의 학습 시간 단축을 달성하며, TiFL와 같은 자원 인지 방법과 조합할 경우 최대 16%의 추가 향상도 가능하다.

ABSTRACT

Recently, a new distributed learning scheme called Federated Learning (FL) has been introduced. FL is designed so that server never collects user-owned data meaning it is great at preserving privacy. FL's process starts with the server sending a model to clients, then the clients train that model using their data and send the updated model back to the server. Afterward, the server aggregates all the updates and modifies the global model. This process is repeated until the model converges. This study focuses on an FL setting called cross-device FL, which trains based on a large number of clients. Since many devices may be unavailable in cross-device FL, and communication between the server and all clients is extremely costly, only a fraction of clients gets selected for training at each round. In vanilla FL, clients are selected randomly, which results in an acceptable accuracy but is not ideal from the overall training time perspective, since some clients are slow and can cause some training rounds to be slow. If only fast clients get selected the learning would speed up, but it will be biased toward only the fast clients' data, and the accuracy degrades. Consequently, new client selection techniques have been proposed to improve the training time by considering individual clients' resources and speed. This paper introduces the first availability-aware selection strategy called MDA. The results show that our approach makes learning faster than vanilla FL by up to 6.5%. Moreover, we show that resource heterogeneity-aware techniques are effective but can become even better when combined with our approach, making it faster than the state-of-the-art selectors by up to 16%. Lastly, our approach selects more unique clients for training compared to client selectors that only select fast clients, which reduces our technique's bias.

연구 동기 및 목표

• 신뢰할 수 없는 엣지 장치로 인해 학습 라운드가 정지되는 교차 장치 피드포워드 학습에서 클라이언트 가용성 문제를 해결하는 데 초점 맞추기.
• 기본적인 랜덤 클라이언트 선택 전략이 클라이언트 가용성과 자원 이질성 양쪽을 고려하지 않아 학습 효율성이 떨어지고 타임아웃이 증가함을 밝히기.
• 과거의 가용성 기반으로 클라이언트를 우선순위 정하는 데 특화된 첫 번째 클라이언트 선택 전략인 MDA(Must Detect the Availability) 제안하여 중간 학습 실패를 줄이기.
• 가용성 인지와 자원 인지 선택(예: TiFL)을 조합하면 기존 최고 수준 기술을 뛰어넘는 성능 향상을 이끌어내며, 수렴 속도를 더욱 빠르게 할 수 있음을 입증하기.
• 더 넓은 범위의 고유 클라이언트를 선택함으로써 공정성과 모델 정확도를 향상시키고, 빠른 클라이언트나 매우 가용성이 높은 장치에만 치우치는 편향을 줄이기.

제안 방법

• 10만 개의 실제 모바일 장치 트레이스에서 확보한 역사적 가동 시간 데이터를 활용해 클라이언트 가용성을 모델링하고 향후 가용성을 예측하기.
• 높은 역사적 가용성과 충분한 계산 능력을 갖춘 클라이언트를 우선순위로 정하는 클라이언트 선택 함수 도입.
• CIFAR-10 및 FEMNIST 데이터셋에서 교차 장치 피드포워드 학습을 시뮬레이션하기 위해 FedML 프레임워크에 MDA 통합하고, 다양한 가용성 조건(고가용성, 평균가용성, 저가용성) 하에서 실험 수행.
• 통제된 시뮬레이션 환경에서 MDA를 순수 랜덤 선택 및 최고 수준 기술( FedCS, TiFL, Oort, RBCS-F, Power-of-Choice)과 비교 분석.
• MDA와 TiFL을 조합해 가용성과 자원 효율성을 동시에 최적화하는 하이브리드 선택기(TiFL-MDA) 개발.
• 타임아웃 메커니즘을 도입해 학습 신뢰도를 측정하고, 응답하지 않는 클라이언트로 인한 실패 라운드 수를 정량화하기.

실험 결과

연구 질문

• RQ1 클라이언트 가용성의 변동성은 교차 장치 피드포워드 학습에서 학습 시간과 모델 정확도에 어떤 영향을 미치는가?
• RQ2 가용성 인지 클라이언트 선택 전략은 순수 랜덤 선택 대비 실패한 학습 라운드 수를 줄이고 수렴 속도를 빠르게 할 수 있는가?
• RQ3 MDA는 기존 최고 수준의 자원 인지 클라이언트 선택 기법(예: TiFL)과 비교해 학습 효율성과 신뢰성 측면에서 어떻게 성능을 내는가?
• RQ4 가용성 인지와 자원 이질성 인지를 동시에 고려하면 학습 성능 향상에 얼마나 기여하는가?
• RQ5 빠른 클라이언트 전용 전략에 비해 MDA는 더 다양한 클라이언트를 포함함으로써 선택 편향을 줄이고 공정성을 향상시키는가?

주요 결과

• 저가용성 환경에서는 고가용성 환경 대비 학습 시간이 최대 10% 느려지고 모델 정확도가 최대 5% 저하된다.
• MDA는 순수 랜덤 선택 대비 최대 6.5%의 학습 시간 단축과 최대 38%의 타임아웃 라운드 감소를 기록한다.
• 최고 수준의 TiFL 기법은 자원 효율성에 집중함으로써 MDA 단독 대비 최대 60%의 학습 시간 단축을 달성한다.
• MDA와 TiFL을 조합한 TiFL-MDA는 TiFL 단독 대비 최대 16%의 학습 속도 향상을 기록하며, 평가된 모든 기술 중에서 가장 빠른 클라이언트 선택기로 나타났다.
• 빠른 클라이언트 전용 전략에 비해 MDA는 더 다양한 클라이언트 집합을 선택함으로써 편향을 줄이고 모델 업데이트의 공정성을 향상시킨다.
• 가용성 이력은 학습 신뢰도에 결정적인 요소이며, 이를 忽시할 경우 실세계 엣지 환경에서 심각한 성능 저하가 발생한다.