[論文レビュー] Federated Learning via Synthetic Data

Jack Goetz, Ambuj Tewari|arXiv (Cornell University)|Aug 11, 2020

Privacy-Preserving Technologies in Data参考文献 6被引用数 38

ひとこと要約

論文はフェデレーテッド学習において勾配更新の代わりに合成データを伝送することを提案し、モデルの劣化はほとんどない。

ABSTRACT

Federated learning allows for the training of a model using data on multiple clients without the clients transmitting that raw data. However the standard method is to transmit model parameters (or updates), which for modern neural networks can be on the scale of millions of parameters, inflicting significant computational costs on the clients. We propose a method for federated learning where instead of transmitting a gradient update back to the server, we instead transmit a small amount of synthetic `data'. We describe the procedure and show some experimental results suggesting this procedure has potential, providing more than an order of magnitude reduction in communication costs with minimal model degradation.

研究の動機と目的

• フェデレーテッド学習におけるクライアントのアップロード通信コストの削減を動機づける。
• 標準の勾配更新を近似するために合成データを活用する。
• FLで合成データを生成・伝送する実用的な手順を開発する。
• 最適化を安定化させる改善を加え、標準ベンチマークで評価する。

提案手法

• クライアント上で、真のローカル更新に似た更新を誘発する合成データを生成する。
• 蒸留ベースの目的を用いて合成誘導更新を実際の更新と整合させる（パラメータ空間での平方誤差または関数空間での KL ダイバージェンスを用いて）。
• updateFromSynthetic 関数を計算して合成データをデコードしサーバーの更新 g に変換する。
• コホート内のクライアント更新 g を集約してサーバー側の更新を形成する。
• 効率のためヘッセ行列ベクトル積を用いたバックプロパゲーションベースの手続きを用いて合成データを最適化する。
• 最適化を安定化させるために、クライアントデータ上での交差エントロピーを評価して最良の合成データ集合を追跡する。

実験結果

リサーチクエスチョン

• RQ1 合成データがクライアントから伝送される場合、通信コストを dramatic に削減しつつ標準の勾配更新を近似できるか？
• RQ2 合成データはどのように生成・最適化すべきか、真の FL 更新を最もよく模倣できるのか、そしてハイパーパラメータに対してどれだけ堅牢か？
• RQ3 この合成データ FL フレームワークにおける通信、計算、および近似品質のトレードオフは？
• RQ4 prohibitive costs なしにサーバーからクライアントへの伝送を合成データで拡張することは可能か？

主な発見

• Synthetic data FL requires only a small fraction of upload costs (e.g., 2.4% of floats compared to transmitting gradient updates for the MNIST CNN).
• The synthetic-data approach yields model performance comparable to standard full gradient transmission FL on IID and non-IID data partitions.
• The method shows robustness to distillation learning rate across a reasonable range (0.03 to 0.3).
• Increasing synthetic data size or compute improves approximation with diminishing returns, suggesting a balanced mix is optimal.
• Extending the approach to server-to-client transmission is viable but more challenging, achieving substantial download cost reductions with some accuracy trade-offs (around 1.5% loss for over 90% reduction).
• The technique can be stabilized by tracking the best-performing synthetic data using cross-entropy on client data.