[論文レビュー] Device Heterogeneity in Federated Learning: A Superquantile Approach

Yassine Laguel, Krishna Pillutla+2 more|arXiv (Cornell University)|Feb 25, 2020

Privacy-Preserving Technologies in Data参考文献 38被引用数 14

ひとこと要約

本稿では、適合度パラメータでパrameter化されたスーパーギャンブル基準に基づく目的関数を最適化することで、デバイスの非同一性に対処するフェデレーテッドラーニングフレームワークΔ-FLを提案する。この手法により、適合度の低いユーザーに対するパーソナライズドモデルが可能になる。安全なアグリゲーションと、FedAvgと同等の通信コストを有する、理論的に収束が保証されたアルゴリズムを採用し、平均性能を損なわずに末端エラー性能を著しく向上させる。

ABSTRACT

We propose a federated learning framework to handle heterogeneous client devices which do not conform to the population data distribution. The approach hinges upon a parameterized superquantile-based objective, where the parameter ranges over levels of conformity. We present an optimization algorithm and establish its convergence to a stationary point. We show how to practically implement it using secure aggregation by interleaving iterations of the usual federated averaging method with device filtering. We conclude with numerical experiments on neural networks as well as linear models on tasks from computer vision and natural language processing.

研究の動機と目的

• クライアントのデータ分布が母集団分布から逸脱する統計的非同一性を扱う。
• 適合度の低いユーザー（例：トレンドセッター、地域ユーザー）のモデル性能を向上させつつ、適合度の高いユーザーの性能を低下させない。
• FedAvgと同等の通信効率を維持する、スケーラブルでプライバシー保護された最適化手法を開発する。
• 各デバイスごとに適合度ノブを調整することで、テスト時のパーソナライズド推論を可能にする。
• 非滑らかで非凸な目的関数の下で、提案されたアルゴリズムが定常点にほぼ確実に収束することを確立する。

提案手法

• 損失分布上のパラメータ化されたスーパーギャンブル基準目的関数を用い、そのパラメータがデバイスの母集団に対する適合度を表す。
• 滑らか化技術を用いてスーパーギャンブル基準を推定するアルゴリズムを新たに提案し、モデルパラメータの更新と交互に最適化を行う。
• インフィマムコントァッション滑らか化を用いてスーパーギャンブル基準の非滑らかさを処理し、勾配ベースの更新を可能にする。
• 安全なアグリゲーションを、FedAvg風のラウンドと適合度推定に基づくデバイスフィルタリングを組み合わせることで統合する。
• 標準的な安全なアグリゲーションプリミティブを再利用することで、FedAvgと同等の1反復あたりの通信コストを維持する。
• 訓練中に適合度が低いデバイスをスーパーギャンブル基準推定から除外するデバイスフィルタリングを適用し、耐障害性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 スーパーギャンブル基準に基づく目的関数は、フェデレーテッドラーニングにおける適合度の低いユーザーのモデル性能を効果的に向上させることができるか？
• RQ2 通信制約とプライバシー制約の下で、非滑らかなスーパーギャンブル基準目的関数を効率的に最適化できるか？
• RQ3 重尾損失分布の存在下で、デバイスフィルタリングの収束性と性能に与える影響は何か？
• RQ4 提案手法は、パーソナライゼーションを可能にしつつ、FedAvgと同等の通信効率を維持できるか？
• RQ5 スーパーギャンブル基準パラメータの更新頻度の選択が収束性と一般化性能に与える影響は何か？

主な発見

• Δ-FLは、特にニューラルネットワークにおいて、適合度の低いデバイスにおける誤分類誤差の分散を低減し、誤差の上位分位数において顕著な改善を示す。
• EMNISTおよびSent140において、Δ-FLは平均誤差性能を競争力のある水準に保ちつつ、テスト誤差の90百分位数においてFedAvgを著しく上回る。
• デバイスフィルタリングにより、1ラウンドあたりの選択デバイス数が安定し、5回のランダム実行においても最小限の変動を示し、耐障害性が裏付けられる。
• EMNISTの線形モデルでは、スーパーギャンブル基準パラメータの更新周期（Tη）を延ばすことで性能が向上し、最適化頻度への感受性が示された。
• アルゴリズムはほぼ確実に定常点に収束し、インフィマムコントァッション滑らか化と部分微分法の分析により理論的保証が得られている。
• フレームワークは適合度ノブを介してテスト時のパーソナライズド推論を可能にし、ユーザーが自身のデータ分布に最適化されたモデルを選択できる。