[論文レビュー] What Do We Mean by Generalization in Federated Learning?

Honglin Yuan, Warren R. Morningstar+2 more|arXiv (Cornell University)|Oct 27, 2021

Privacy-Preserving Technologies in Data参考文献 85被引用数 12

ひとこと要約

本稿では、フェデレーテッドラーニングにおける2つの異なる一般化ギャップを分離するフレームワークを提案する：サンプル外ギャップ（参加クライアント間でのパフォーマンス差）と参加ギャップ（参加クライアントと非参加クライアント間の差）。実験では、特に自然に分割されたデータにおいて顕著な参加ギャップが存在することを示し、外部ユーザー情報が不要な外部情報を利用せずに現実のデータ分布パターンを模倣する「意味的分割」と呼ばれる合成データ生成手法を提案する。これにより、FLにおけるより現実的な一般化研究が可能になる。

ABSTRACT

Federated learning data is drawn from a distribution of distributions: clients are drawn from a meta-distribution, and their data are drawn from local data distributions. Thus generalization studies in federated learning should separate performance gaps from unseen client data (out-of-sample gap) from performance gaps from unseen client distributions (participation gap). In this work, we propose a framework for disentangling these performance gaps. Using this framework, we observe and explain differences in behavior across natural and synthetic federated datasets, indicating that dataset synthesis strategy can be important for realistic simulations of generalization in federated learning. We propose a semantic synthesis strategy that enables realistic simulation without naturally-partitioned data. Informed by our findings, we call out community suggestions for future federated learning works.

研究の動機と目的

• フェデレーテッドラーニングにおける一般化ギャップの明確な区別、特に無視されがちな参加ギャップの欠如に取り組む。
• クライアントがメタポピュレーションから抽出され、そのデータが局所分布から抽出されるという、分布の分布としてのフェデレーテッドデータのモデル化。
• 参加ギャップがモデルパフォーマンスに顕著に影響を与え、既存のFL評価フレームワークでしばしば無視されていることを実証的に示す。
• 自然に分割されたデータに依存せずに、現実的な一般化行動のシミュレーションを可能にする意味的分割戦略の提案。
• データの非イ.i.d.性と一般化行動に関する洞察に基づき、将来のフェデレーテッドラーニング研究に向けた実用的アドバイスを提供する。

提案手法

• 一般化の測定のための三重分割を提案：訓練損失、サンプル外損失（参加クライアントでの損失）、参加損失（非参加クライアントでの損失）。
• 参加ギャップを、参加クライアントと非参加クライアントの期待リスクの差として定義し、クライアントデータ分布のメタ分布を用いて形式化する。
• 意味的分割を導入：GMM（ガウス・ミックス・モデル）を用いて画像コンテンツなどの意味的類似性でデータをクラスタリングし、KLダイバージェンスに基づく最適なマルチパーティーションマッチングを実行する合成データ生成手法。
• 変分オートエンコーダ（VAEs）にIWAEベースのエントロピー推定を組み合わせ、自然に分割された、構文的に分割された、意味的に分割されたクライアント間のデータ分布エントロピーを比較する。
• マルチパーティーションマッチング問題を効率的に解くために、段階的なバイパーティションマッチングヒューリスティクスを適用し、クライアントクラスタ間のKLダイバージェンスを最小化する。
• 精度や損失などの指標を用いて、6つのフェデレーテッドラーニングタスク（4つの画像、2つのテキスト）における一般化ギャップを、ホールドアウトされたクライアントデータ上で評価する。

実験結果

リサーチクエスチョン

• RQ1 自然に分割されたデータと合成的に分割されたフェデレーテッドデータにおいて、サンプル外ギャップと参加ギャップの大きさと挙動にどのような違いがあるか？
• RQ2 入力分布エントロピーの観点から、データの非イ.i.d.性が参加ギャップの存在と大きさをどの程度説明できるか？
• RQ3 意味的分割という合成データ生成戦略は、自然に分割されたデータに依存せずに、現実のフェデレーテッドデータの一般化行動をよく再現できるか？
• RQ4 クライアント数やクライアント多様性といった要因が、参加ギャップの大きさにどのように影響を与えるか？
• RQ5 参加ギャップを無視することで、フェデレーテッドラーニングモデルの評価や将来のFLベンチマーク設計にどのような影響が生じるか？

主な発見

• 6つのフェデレーテッドラーニングタスクにおいて顕著な参加ギャップが存在し、画像およびテキストタスクにおいて参加クライアントと非参加クライアントの間で、精度差が10%を超えることが頻繁に観察された。
• 自然に分割されたデータセットではクライアントデータのエントロピーが40 Nats（ナツ）であるのに対し、合成的に分割されたデータでは50 Natsであり、現実のデータに強い相関性と非イ.i.d.構造があることを示している。
• 意味的分割により、合成データと現実のデータの一般化行動のギャップが縮小され、中間的エントロピー（45 Nats）を達成し、現実のデータ分布をよりよく再現した。
• ラベルベースの分割は、意味的分割よりも参加ギャップが大きくなる。これは、誤った相関関係や非イ.i.d.データパターンに起因する。
• 参加ギャップは、特に入力分布エントロピーの観点から、データの非イ.i.d.性と強く相関しており、FLにおける一般化の重要な次元であるが、これまで無視されてきた。
• 本研究では、多くの既存のFLベンチマークが、特にラベルベースの分割に依存することで、簡素化されたデータ分割戦略を採用しているため、真の一般化行動を捉えていないことが明らかになった。