[논문 리뷰] Prophet: Proactive Candidate-Selection for Federated Learning by Predicting the Qualities of Training and Reporting Phases

Huawei Huang, Kangying Lin외 3명|arXiv (Cornell University)|2020. 02. 03.

Privacy-Preserving Technologies in Data참고 문헌 16인용 수 4

한 줄 요약

이 논문은 연합 학습(FL)을 위한 프로액티브 후보 선택 프레임워크인 Prophet을 제안한다. 이 프레임워크는 훈련 및 보고 단계 동안 장기적 단기 기억(LSTM)을 사용해 장치 품질을 예측하고, 딥 강화학습(DRL)을 활용해 신뢰할 수 있는 참가자를 사전에 선별한다. 실제 트레이스를 기반으로 평가한 결과, 반응형 선택 방법에 비해 FL 지연 시간을 크게 감소시키고 성공률를 향상시킨다.

ABSTRACT

Although the challenge of the device connection is much relieved in 5G networks, the training latency is still an obstacle preventing Federated Learning (FL) from being largely adopted. One of the most fundamental problems that lead to large latency is the bad candidate-selection for FL. In the dynamic environment, the mobile devices selected by the existing reactive candidate-selection algorithms very possibly fail to complete the training and reporting phases of FL, because the FL parameter server only knows the currently-observed resources of all candidates. To this end, we study the proactive candidate-selection for FL in this paper. We first let each candidate device predict the qualities of both its training and reporting phases locally using LSTM. Then, the proposed candidateselection algorithm is implemented by the Deep Reinforcement Learning (DRL) framework. Finally, the real-world trace-driven experiments prove that the proposed approach outperforms the existing reactive algorithms

연구 동기 및 목표

• 신뢰할 수 없는 장치의 참여로 인해 발생하는 연합 학습의 높은 훈련 지연을 해결하기 위해.
• 현재 장치 자원 관측에만 의존하는 반응형 후보 선택 방법의 한계를 극복하기 위해.
• 훈련 및 보고 단계 동안 향후 장치 성능을 예측하는 프로액티브 시스템을 설계하기 위해.
• 사전에 고성능 및 신뢰할 수 있는 장치만을 선별하여 FL의 효율성과 수렴성을 향상시키기 위해.

제안 방법

• 각 클라이언트 장치는 장기적 단기 기억(LSTM) 네트워크를 사용해 자체적으로 훈련 및 보고 단계의 품질을 예측한다.
• 시스템은 예측된 장치 품질을 바탕으로 프로액티브 후보 선택 결정을 내리는 딥 강화학습(DRL) 프레임워크를 활용한다.
• DRL 에이전트는 훈련 및 보고 단계를 모두 성공적으로 완료할 가능성이 높은 장치를 선택하도록 학습한다.
• 예측 및 선택 모델의 훈련과 검증을 위해 실제 장치 트레이스 데이터를 사용한다.
• 예측 및 선택 파이프라인은 고장 위험이 높은 장치를 피하여 FL 지연 시간을 최소화하도록 설계된다.
• FL 라운드가 시작되기 이전에 장치 신뢰성을 사전 예측함으로써 반응형에서 프로액티브 선택으로의 전환을 이룬다.

실험 결과

연구 질문

• RQ1 LSTM 기반의 로컬 예측이 훈련 및 보고 단계의 품질을 향상시켜 FL 후보 선택에 기여할 수 있는가?
• RQ2 현재 관측치에 기반한 반응형 선택에 비해 예측된 장치 품질을 활용한 프로액티브 선택은 어떻게 비교되는가?
• RQ3 동적 장치 가용성 조건 하에서 딥 강화학습은 후보 선택 최적화에 얼마나 기여하는가?
• RQ4 프로액티브 선택은 실제 환경에서 FL 수렴 지연 시간과 성공률에 어떤 영향을 미치는가?

주요 결과

• Prophet는 훈련 또는 보고 단계에서 고장 날 가능성이 높은 장치를 사전에 회피함으로써 연합 학습의 훈련 지연 시간을 크게 감소시킨다.
• 로컬 품질 예측을 위한 LSTM의 사용은 반응형 방법에 비해 장치 신뢰성 예측 정확도를 향상시킨다.
• DRL 기반의 선택 프레임워크는 성공률 및 수렴 안정성 측면에서 기존의 반응형 알고리즘을 능가한다.
• 실제 트레이스 기반 실험을 통해 Prophet이 전체적인 FL 효율성과 신뢰성을 향상시킴을 확인했다.
• 프로액티브 접근은 반응형 선택 전략에 비해 FL 라운드의 완료 비율을 높인다.
• 동적 네트워크 및 장치 조건 하에서도 시스템은 뛰어난 성능을 유지하여 실용적 적용 가능성을 입증했다.