[論文レビュー] Adaptive Personalized Federated Learning

Yuyang Deng, Mohammad Mahdi Kamani+1 more|arXiv (Cornell University)|Mar 30, 2020

Privacy-Preserving Technologies in Data参考文献 51被引用数 337

ひとこと要約

APFL は各クライアントごとに、グローバルモデルとローカルモデルの混成としてパーソナライズされたモデルを学習し、適応的な混合パラメータと通信効率の高い最適化アルゴリズムを用います。

ABSTRACT

Investigation of the degree of personalization in federated learning algorithms has shown that only maximizing the performance of the global model will confine the capacity of the local models to personalize. In this paper, we advocate an adaptive personalized federated learning (APFL) algorithm, where each client will train their local models while contributing to the global model. We derive the generalization bound of mixture of local and global models, and find the optimal mixing parameter. We also propose a communication-efficient optimization method to collaboratively learn the personalized models and analyze its convergence in both smooth strongly convex and nonconvex settings. The extensive experiments demonstrate the effectiveness of our personalization schema, as well as the correctness of established generalization theories.

研究の動機と目的

• クライアント間で非IIDデータに対処するために、連合学習におけるパーソナライズの重要性を動機づける。
• 各クライアントがグローバルモデルとローカルモデルを組み合わせる混合モデルの定式化を提案する。
• 混合モデルの一般化境界を導出し、混合パラメータが性能に与える影響を特定する。
• 個別化モデルとグローバルモデルを学習するための通信効率の良い最適化手法を開発する。
• 経験的有効性を実証し、理論的一般化結果を検証する。

提案手法

• 個別化のためにグローバルモデルとローカルモデルの混合を導入する: h_alpha_i = alpha_i * h_loc,i^* + (1 - alpha_i) * h_bar^*.
• 混合モデルの一般化境界を、alpha_i、分布の乖離、およびデータ量 m および m_i に依存して導出する。
• 境界から最適な混合パラメータ alpha_i^* を計算し、それが [0,1] にあることを示す。
• 二階最適化を提案する：サーバーはグローバル経験的リスクを最小化し、各クライアントはグローバルモデルを組み込む混合を用いて局所リスクを最小化する。
• Local Descent APFL を提示する：ローカル更新と w_i および v_i の定期的な勾配ステップを含む反復的で通信効率の高いアルゴリズムで、続いてサーバーによる w_i の平均化を行う。
• ローカルとグローバルな分布間の距離を反映するよう、実務での alpha_i の適応的更新を提供する。

実験結果

リサーチクエスチョン

• RQ1 クライアント間で非IIDデータを扱うために、連合学習で個別化をいつ、どのように使用すべきか？
• RQ2 グローバルモデルとローカルモデルの混合は、純粋なグローバルまたは純粋なローカルモデルよりも局所的な一般化を改善できるか？
• RQ3 各クライアントの一般化を最適化するために、混合パラメータ alpha_i をどのように選択または適応させるべきか？
• RQ4 提案された APFL 最適化アルゴリズムの収束性と通信要件は何か？
• RQ5 経験的な結果は混合モデルの理論的一般化境界をサポートするか？

主な発見

• パーソナライズされたモデル h_alpha_i = alpha_i * h_loc,i^* + (1 - alpha_i) * h_bar^* は、データの非均一性下で局所的な一般化を改善できる。
• 一般化境界は、混合モデルのリスクが alpha_i、分布の乖離、およびデータ量 m および m_i に依存することを示す。
• 最適な混合パラメータ alpha_i^* は [0,1] にあり、乖離とサンプルサイズに応じてグローバルとローカルの寄与をバランスさせる。
• 通信効率の高い最適化手法（Local Descent APFL）が提案され、滑らかな強凸および非凸設定の両方で分析される。
• データ多様性が増すにつれて、データセット上の実証結果は、パーソナライズスキームが純粋なグローバルまたはローカルモデルより優れていることを裏付ける。
• 理論と実験は、連合学習における適応型パーソナライズの有用性を総合的に支持している。