[論文レビュー] Prophet: Proactive Candidate-Selection for Federated Learning by Predicting the Qualities of Training and Reporting Phases

Huawei Huang, Kangying Lin+3 more|arXiv (Cornell University)|Feb 3, 2020

Privacy-Preserving Technologies in Data参考文献 16被引用数 4

ひとこと要約

本稿では、訓練段階および報告段階におけるデバイスの品質を予測するためにLSTMを用い、深層強化学習（DRL）を用いて信頼性の高い参加者を事前に選択する、フェデレーテッドラーニング（FL）のためのプロアクティブな候補選択フレームワークであるProphetを提案する。実世界のトレースを用いた評価において、Prophetは反応的な選択手法と比較して、FLの遅延を顕著に低減し、成功確率を向上させる。

ABSTRACT

Although the challenge of the device connection is much relieved in 5G networks, the training latency is still an obstacle preventing Federated Learning (FL) from being largely adopted. One of the most fundamental problems that lead to large latency is the bad candidate-selection for FL. In the dynamic environment, the mobile devices selected by the existing reactive candidate-selection algorithms very possibly fail to complete the training and reporting phases of FL, because the FL parameter server only knows the currently-observed resources of all candidates. To this end, we study the proactive candidate-selection for FL in this paper. We first let each candidate device predict the qualities of both its training and reporting phases locally using LSTM. Then, the proposed candidateselection algorithm is implemented by the Deep Reinforcement Learning (DRL) framework. Finally, the real-world trace-driven experiments prove that the proposed approach outperforms the existing reactive algorithms

研究の動機と目的

• 信頼性の低いデバイス参加によるフェデレーテッドラーニングにおける高い訓練遅延を解消すること。
• 現在のデバイスリソース観測にのみ依存する反応的な候補選択手法の限界を克服すること。
• 訓練段階および報告段階の両方において、将来のデバイスパフォーマンスを予測するプロアクティブなシステムを設計すること。
• 事前に高品質で信頼性の高いデバイスのみを選択することで、FLの効率性と収束性を向上させること。

提案手法

• 各クライアントデバイスは、長短記憶（LSTM）ネットワークを用いて、自身の訓練段階および報告段階の品質をローカルで予測する。
• システムは、予測されたデバイス品質に基づいてプロアクティブな候補選択意思決定を行うための深層強化学習（DRL）フレームワークを採用する。
• DRLエージェントは、訓練段階および報告段階の両方で正常に完了する可能性の高いデバイスを選択するように学習する。
• 予測および選択モデルのトレーニングと検証には、実世界のデバイストレースデータを用いる。
• 予測および選択パイプラインは、失敗リスクの高いデバイスを回避することで、FLの遅延を最小限に抑えるように設計されている。
• FLラウンド開始前にデバイスの信頼性を予測することで、反応的選択からプロアクティブ選択へとシフトする。

実験結果

リサーチクエスチョン

• RQ1 LSTMを用いたローカルな訓練段階および報告段階の品質予測は、FLの候補選択を改善できるか？
• RQ2 現在の観測に基づく反応的選択と比較して、予測されたデバイス品質を用いたプロアクティブ選択はどのように異なるか？
• RQ3 動的変化するデバイス利用状況下で、深層強化学習は候補選択をどの程度最適化できるか？
• RQ4 プロアクティブ選択は、実世界のシナリオにおけるFLの収束遅延および成功確率にどのような影響を与えるか？

主な発見

• Prophetは、訓練段階や報告段階で故障しうるデバイスを事前に回避することで、フェデレーテッドラーニングにおける訓練遅延を顕著に低減する。
• ローカルな品質予測にLSTMを用いることで、反応的手法に比べてデバイス信頼性の予測精度が向上する。
• DRLに基づく選択フレームワークは、成功確率および収束安定性の観点で、既存の反応的アルゴリズムを上回る性能を示す。
• 実世界トレース駆動の実験により、Prophetが全体的なFLの効率性および信頼性を向上させることを確認した。
• プロアクティブアプローチにより、反応的選択戦略と比較して、FLラウンドの完了率が高くなる。
• 動的ネットワークおよびデバイス状態下でも、本システムは頑健な性能を示し、実用的応用性を裏付けた。