[論文レビュー] Accurate and Fast Federated Learning via IID and Communication-Aware Grouping

Jin‐Woo Lee, Jaehoon Oh+3 more|arXiv (Cornell University)|Dec 9, 2020

Privacy-Preserving Technologies in Data参考文献 27被引用数 15

ひとこと要約

本稿では、非IIDデータ分布と通信遅延の両方を同時に最適化する新しいフェデレーテッドラーニングフレームワーク、FedAvg-ICを提案する。このフレームワークは、データ分布の類似性（IIDに配慮）と物理的距離（通信に配慮）に基づいてクライアントをグループ化することで、モデルの精度を向上させるとともに通信オーバーヘッドを低減する。非IIDデータとネットワーク遅延の両方を最適化することにより、ベースライン手法と比較して最高で22.2%高いテスト精度と8.3倍速い収束速度を達成した。

ABSTRACT

Federated learning has emerged as a new paradigm of collaborative machine learning; however, it has also faced several challenges such as non-independent and identically distributed(IID) data and high communication cost. To this end, we propose a novel framework of IID and communication-aware group federated learning that simultaneously maximizes both accuracy and communication speed by grouping nodes based on data distributions and physical locations of the nodes. Furthermore, we provide a formal convergence analysis and an efficient optimization algorithm called FedAvg-IC. Experimental results show that, compared with the state-of-the-art algorithms, FedAvg-IC improved the test accuracy by up to 22.2% and simultaneously reduced the communication time to as small as 12%.

研究の動機と目的

• フェデレーテッドラーニングにおける非IIDデータ分布と高い通信コストという二重の課題に対処すること。
• モデルの精度と通信効率の両立を図るグループ化戦略の開発。
• グループフェデレーテッドラーニングにおける収束の形式的解析を行い、最適なグループ化原則を導出すること。
• IIDと通信コストの両方を最小化する効率的な最適化アルゴリズム（FedAvg-IC）の設計。
• 精度と収束速度の両面で最先端手法を上回る優れた性能を示すこと。

提案手法

• 局所レベルとグループレベル、およびグループレベルとグローバルレベルにおけるデータ分布の乖離を考慮した二目的最適化としてノードグループ化問題を定式化する。
• 通信遅延を最小化するために、ノード間の物理的距離をグループ化の目的関数に組み込む。
• IIDのずれと通信コストの両方を最小化するように反復的にノードをグループ化する制御アルゴリズムであるFedAvg-ICを提案する。
• 二段階のアグリゲーションを導入：まず局所モデルがグループモデルにアグリゲートされ、その後グループモデルがグローバルモデルにアグリゲートされる。
• 最適なグループ化が、グループ間グローバルデータ分布の乖離と通信遅延の両方を最小化するときに達成されることを示す理論的収束バウンドを導出する。
• TensorFlowを用いたフェデレーテッドラーニングシミュレータを用いて、複数のデータセット、モデル、非IID設定での評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおけるクライアントグループ化は、非IIDデータの影響と通信オーバーヘッドの両方を同時に低減できるか？
• RQ2 IIDと通信に配慮したグループ化を組み合わせた状況下で、グループフェデレーテッドラーニングの理論的収束挙動はいかなるものか？
• RQ3 一元的な最適化フレームワークは、二つの課題のうち片方のみに焦点を当てた従来の手法を上回ることができるか？
• RQ4 提案されたグループ化戦略は、最先端のアルゴリズムと比較して、テスト精度と収束速度の両面でどの程度向上を達成するか？

主な発見

• FedAvg-ICは、非IIDデータセットにおいて、HierFAVGと比較して最高で22.2%高いテスト精度を達成し、顕著な精度向上を示した。
• FedAvg-ICは、FedAvgと比較して、最大で8.3倍の高速化を達成し、収束速度の顕著な改善を示した。
• 特に非IID度が高くなる状況下でも、FedAvgとHierFAVGの両方を精度と効率の面で上回った。
• 通信に配慮したグループ化により、データ転送量が著しく削減され、モデルの複雑さが高くなっても収束が速くなった。
• 収束解析により、グループ間グローバルデータ分布の乖離と通信遅延の両方を最小化することが最適なパフォーマンスをもたらすことが確認された。
• IID設定（Dhh）においても、FedAvg-ICは5.6倍の高速化を達成しており、データ分布の種類にかかわらず高いロバスト性を示した。