[論文レビュー] Loss Tolerant Federated Learning

Pengyuan Zhou, Pei Fang+1 more|arXiv (Cornell University)|May 8, 2021

Privacy-Preserving Technologies in Data参考文献 16被引用数 8

ひとこと要約

本稿では、パケット損失を意図的に無視するためのThrowRightAway（TRA）を用いたロス耐性ファederated Learning（LT-FL）を提案する。これにより、低帯域幅のクライアントがすべて学習に参加可能となり、モデルの精度と公平性を維持できる。TRAは、特に10–30%のパケット損失条件下で、しきい値ベースの手法と比較して、グローバルモデル性能を最大20%向上させる。これは、q-FedAvg や pFedMe といった公平性を考慮したアルゴリズムと組み合わせることで実現される。

ABSTRACT

Federated learning has attracted attention in recent years for collaboratively training data on distributed devices with privacy-preservation. The limited network capacity of mobile and IoT devices has been seen as one of the major challenges for cross-device federated learning. Recent solutions have been focusing on threshold-based client selection schemes to guarantee the communication efficiency. However, we find this approach can cause biased client selection and results in deteriorated performance. Moreover, we find that the challenge of network limit may be overstated in some cases and the packet loss is not always harmful. In this paper, we explore the loss tolerant federated learning (LT-FL) in terms of aggregation, fairness, and personalization. We use ThrowRightAway (TRA) to accelerate the data uploading for low-bandwidth-devices by intentionally ignoring some packet losses. The results suggest that, with proper integration, TRA and other algorithms can together guarantee the personalization and fairness performance in the face of packet loss below a certain fraction (10%-30%).

研究の動機と目的

• クロスデバイスファederated Learningにおけるネットワーク容量制限の影響が過大評価されているかどうか、およびしきい値ベースのクライアント選択がバイアスを引き起こすかどうかを調査する。
• ファederated Learningにおけるバイアスのクライアント選択が、モデルの公平性、精度、パーソナライゼーションに与える悪影響を解消する。
• パケット損失があっても低帯域幅クライアントが参加可能となるように、ロス耐性メカニズムとしてTRA（ThrowRightAway）を提案・評価する。
• アグリゲーション、公平性、パーソナライゼーションの分野で最先端のアルゴリズムとTRAを統合し、現実的なネットワーク環境下での性能向上を図る。
• TRAがグローバルモデルの精度と公平性を向上させつつ、パーソナライズドモデル性能への影響を最小限に抑えることの妥当性を示す。

提案手法

• 実世界のネットワークトレースを用いたトレース駆動分析により、パケット損失がファederated Learningに与える実際の影響を評価する。
• パケット損失を意図的に破棄することで、低帯域幅デバイスのデータアップロードを加速するTRA（ThrowRightAway）を提案する。
• 残存パケットに基づく軽量な再計算により、損失データを補償するようにアグリゲーションアルゴリズムを変更する。
• TRAをq-FedAvgと統合し、α-公平性の再重み付けを適用することで、損失の高いクライアントに優先順位を付ける。これにより、TRAの影響を緩和する。
• pFedMeとTRAを組み合わせることで、グローバルモデル性能を維持しつつ、パーソナライズドモデル精度のわずかな低下を許容する。
• オープンソースのコードベースを用いて組み合わせアルゴリズムを実装・評価し、合成的および実世界のシナリオにわたる性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 ファederated Learningにおけるネットワーク容量制限の課題は、実際のパケット損失による性能低下の観点から過大評価されているのだろうか？
• RQ2 しきい値ベースのクライアント選択が、ファederated Learningにおける公平性、精度、パーソナライゼーションに与える悪影響は何か？
• RQ3 TRAによる意図的なパケット損失耐性は、全体のシステム信頼性を著しく低下させることなく、モデル性能と公平性を向上させられるだろうか？
• RQ4 q-FedAvg などの公平性を考慮した、およびpFedMe などのパーソナライゼーションを考慮したアルゴリズムと組み合わせた場合、TRAの性能はどのようになるか？
• RQ5 さまざまなパケット損失率下でTRAを用いる場合、グローバルモデル精度とパーソナライズドモデル精度のトレードオフはどのようなものか？

主な発見

• TRA-q-FedAvgは、しきい値ベースの設定におけるpFedMeと比較して、グローバルモデル精度を最大20%向上させる。特に10–30%のパケット損失条件下で顕著である。
• Synthetic(2,2)において70%の有効クライアント率を満たした場合、TRA-q-FedAvgは平均69.72%の精度を達成したのに対し、バイアスのあるq-FedAvgは62.34%であった。最高/最悪比は100%/9.81%であった。
• TRA-pFedMeは平均で1%低いパーソナライズドモデル精度を示すが、標準pFedMeと比較してグローバルモデル精度を最大20%向上させる。
• 10%のパケット損失下で、TRA-q-FedAvgは平均61.63%の精度を達成し、最高/最悪比は100%/6.01%であった。これに対してバイアスのあるq-FedAvgは平均55.00%、最高/最悪比は100%/0であった。
• pFedMeと組み合わせた場合、TRAの性能はハイパーパrameterに敏感であることが判明し、さらなる最適化の必要性が示された。
• パケット損失下では、TRA単体ではFedAvgの性能向上を示さない。これは、再重み付け（例：q-FedAvgによるもの）が補償のために不可欠であることを示している。