[論文レビュー] Three Approaches for Personalization with Applications to Federated Learning

Yishay Mansour, Mehryar Mohri+2 more|arXiv (Cornell University)|Feb 25, 2020

Privacy-Preserving Technologies in Data参考文献 55被引用数 320

ひとこと要約

本論文は連合学習における personalization の学習理論的枠組みを提案し、3つの実用的アプローチ—ユーザクラスタリング、データ補間、モデル補間—を分析。保証と効率的なアルゴリズム、実証的検証を提供。

ABSTRACT

The standard objective in machine learning is to train a single model for all users. However, in many learning scenarios, such as cloud computing and federated learning, it is possible to learn a personalized model per user. In this work, we present a systematic learning-theoretic study of personalization. We propose and analyze three approaches: user clustering, data interpolation, and model interpolation. For all three approaches, we provide learning-theoretic guarantees and efficient algorithms for which we also demonstrate the performance empirically. All of our algorithms are model-agnostic and work for any hypothesis class.

研究の動機と目的

• FLにおける purely local または global なモデルの中間代替としての personalization を動機づける。
• 各 personalization アプローチについて学習理論的保証（一般化境界）を提供する。
• クラスタリング、データ補間、モデル補間のための効率的で通信および計算に優しいアルゴリズムを開発する。
• 合成データと EMNIST データセットにおける経験的性能向上を示す。

提案手法

• 3つの直交的な personalization 戦略を提案する：ユーザクラスタリング（HypCluster）、データ補間（Dapper）、モデル補間（Mapper）。
• クラスタリングについては仮説ベースのクラスタリングを定義し一般化境界を導出；HypCluster を EM 型確率的アルゴリズムとして提示。
• データ補間についてはローカルデータとクラスタ/グローバルデータの間のラムダ重み付きデータ混合を定式化し一般化保証を導出；強凸性下での収束保証を持つ Dapper を導入。
• モデル補間については中心モデルと局所モデルを学習し、クライアント間の補完予測を最適化；経験的損失と真の損失の理論的境界（Theorem 6.1 および Corollaries）を提供。
• 通信コスト、プライバシー配慮、FL設定へのスケーラビリティに焦点を当てた効率性分析を提供。

実験結果

リサーチクエスチョン

• RQ1 ローカルとグローバルの中間モデルをとることで通信効率を維持しつつ personalization をどのように実現できるか？
• RQ2 クラスタリングベース、データ補間、モデル補間の各 personalization 戦略の一般化保証はどうなるか？
• RQ3 FLの制約とデータのヘテロジニティの下でうまく機能するスケーラブルなアルゴリズムをどう設計するか？
• RQ4 これらのアプローチは現実的なフェデレーテッドデータセットでどの程度の経験的利得をもたらすか？

主な発見

• 3つの personalization アプローチは、FL に対する理論的一般化保証と実用的アルゴリズムを提供する。
• HypCluster（ユーザクラスタリング）は、有利な一般化境界と強力な経験的性能を示し、特にクラスタ数が小さい場合に顕著。
• データ補間（Dapper）は、ローカルデータとグローバルデータ間のラムダを調整可能にすることで、効率的な通信と証明可能な収束を達成。
• モデル補間（Mapper）は、中心モデルと局所モデルの原理的な補間を通じて競争力のある性能とそれに伴う境界を提供。
• EMNIST 実験では、2クラスタを用いた HypCluster が FedAvg および Agnostic ベースラインを有意に上回り、精度で少なくとも 4.3% の改善を達成；Dapper/Mapper 変種で約 1% のさらなる向上を達成。