[論文レビュー] Accurate and Fast Federated Learning via Combinatorial Multi-Armed Bandits

Taehyeon Kim, Sangmin Bae+2 more|arXiv (Cornell University)|Dec 6, 2020

Privacy-Preserving Technologies in Data参考文献 18被引用数 5

ひとこと要約

本稿では、バイアスのかかっているモデルをフィルタリングする組み合わせ的モデル平均化と、先行知識を活用する多腕バンディット（MAB）ベースのクライアントサンプリングを組み合わせることで、精度と収束速度を向上させる、新しいフェデレーテッドラーニングフレームワークであるFedCMを提案する。FedCMは、非独立同分布（non-IID）データセットにおいて、最先端の手法と比較して最大37.25%高いテスト精度と4.17倍速い収束速度を達成した。

ABSTRACT

Federated learning has emerged as an innovative paradigm of collaborative machine learning. Unlike conventional machine learning, a global model is collaboratively learned while data remains distributed over a tremendous number of client devices, thus not compromising user privacy. However, several challenges still remain despite its glowing popularity; above all, the global aggregation in federated learning involves the challenge of biased model averaging and lack of prior knowledge in client sampling, which, in turn, leads to high generalization error and slow convergence rate, respectively. In this work, we propose a novel algorithm called FedCM that addresses the two challenges by utilizing prior knowledge with multi-armed bandit based client sampling and filtering biased models with combinatorial model averaging. Based on extensive evaluations using various algorithms and representative heterogeneous datasets, we showed that FedCM significantly outperformed the state-of-the-art algorithms by up to 37.25% and 4.17 times, respectively, in terms of generalization accuracy and convergence rate.

研究の動機と目的

• 非IIDなフェデレーテッドラーニング環境におけるバイアスのかかっているモデル平均化の課題に取り組み、汎化誤差を低減すること。
• クライアントサンプリングにおける先行知識の欠如が収束速度を遅くし、局所最適解に陥ることを是正すること。
• 知識に基づいたクライアントサンプリングとフィルタリングされたモデル平均化を統合した、統合的でシステムレベルのフレームワークを構築し、フェデレーテッドラーニングのパフォーマンスを向上させること。
• 組み合わせ最適化と多腕バンディットを用いて、スケーラブルかつ適応的なクライアント選択とモデルアグリゲーションを可能にすること。

提案手法

• 一般化誤差を最小化するために、検証スコアに基づいて最適なクライアントモデルのサブセットを選択する、組み合わせ的モデル平均化手法であるFedCAを提案する。
• ヒストリカルなパフォーマンスに基づいて動的にクライアントを選択するため、上界信頼区間（UCB）とトマソンサンプリングを用いたMABベースのクライアントサンプリングを導入する。
• 報酬が過去のラウンドでクライアントが最適なサブセットに含まれていたかどうかに基づく、組み合わせ的多腕バンディット問題としてクライアント選択を定式化する。
• クライアント選択確率をベータ分布でモデル化し、過去のラウンドで観測された報酬を用いて信念を更新する。
• MABサンプリングとFedCAフィルタリングを統合した、クライアント選択とモデルアグリゲーションのエンドツーエンド最適化を実現する統合アルゴリズムであるFedCMを構築する。
• カスタムの先行知識およびモデルフィルタリング基準を拡張可能にサポートするシステムレベルのフレームワークを定義する。

実験結果

リサーチクエスチョン

• RQ1 バイアスのかかっているモデルをフィルタリングすることで、組み合わせ的モデル平均化は非IIDフェデレーテッドラーニングにおける一般化誤差を顕著に低減できるか？
• RQ2 クライアントパフォーマンスの先行知識を活用するMABベースのクライアントサンプリングは、収束速度を向上させることができるか？
• RQ3 組み合わせ的平均化とMABベースのサンプリングを組み合わせることで、既存のフェデレーテッドラーニング手法よりも相乗効果を得られるか？
• RQ4 FedCMのパフォーマンス向上は、異なるデータの非IID度合いやスコア関数の設定においてどのように変化するか？

主な発見

• FedCMは、クラスの非IID性を示す非IIDデータセットにおいて、最先端の手法と比較して最大37.25%高いテスト精度を達成した。
• FedCMは、すべての評価設定において、FedAvgおよびFedProxと比較して収束速度が最大4.17倍速くなった。
• 組み合わせ的平均化部（FedCA）のみを用いても、ベースライン手法と比較して一般化精度が最大16.75%向上した。
• FedCM-UCBおよびFedCM-TSは、すべてのテスト済みのデータ非IID度とスコア関数の設定において、FedAvg、FedProx、およびFedPdpを上回る精度と収束速度を達成した。
• 性能向上は、訓練の初期段階を含め、一貫して見られ、提案手法の堅牢性と安定性を示している。
• MABによる先行知識の統合と、組み合わせ最適化によるモデルフィルタリングの統合は、単独で用いる場合よりも高い相乗効果をもたらした。