[論文レビュー] FedMD: Heterogenous Federated Learning via Model Distillation

Daliang Li, Junpu Wang|arXiv (Cornell University)|Oct 8, 2019

Privacy-Preserving Technologies in Data参考文献 17被引用数 480

ひとこと要約

FedMDは、参加者が独立に設計したモデルを使用するフェデレーテッドラーニングを可能にし、知識を公開データセット上の蒸留で翻訳することで、孤立訓練よりも利益を生み、プールデータの性能に近づく。

ABSTRACT

Federated learning enables the creation of a powerful centralized model without compromising data privacy of multiple participants. While successful, it does not incorporate the case where each participant independently designs its own model. Due to intellectual property concerns and heterogeneous nature of tasks and data, this is a widespread requirement in applications of federated learning to areas such as health care and AI as a service. In this work, we use transfer learning and knowledge distillation to develop a universal framework that enables federated learning when each agent owns not only their private data, but also uniquely designed models. We test our framework on the MNIST/FEMNIST dataset and the CIFAR10/CIFAR100 dataset and observe fast improvement across all participating models. With 10 distinct participants, the final test accuracy of each model on average receives a 20% gain on top of what's possible without collaboration and is only a few percent lower than the performance each model would have obtained if all private datasets were pooled and made directly available for all participants.

研究の動機と目的

• 参加者が独自のモデルアーキテクチャを展開する設定で、フェデレーテッドラーニングを動機づける。
• 私的データやアーキテクチャを共有せずに、モデルの異種性を許容するフレームワークを提案する。
• 転移学習と知識蒸留を利用して、異なるモデル間の協調を可能にする。
• 標準データセット上でFedMDを評価し、孤立訓練よりも性能が向上することを示す。

提案手法

• 公開データセットを共通の通信基盤として使用する。
• 各パーティは公開データで自身のモデルを事前訓練し、その後私的データで訓練する（転移学習）。
• モデルは公開データ上のクラススコアを共有する。中心サーバがこれらのスコアを平均してコンセンサスを形成する。
• 各参加者は公開データでのコンセンサスに合わせて自分のモデルを更新する（蒸留）。
• ダイジェストを繰り返し、効率化のため時々公開データをサブサンプリングして手順を再検討する。
• コンセンサスを形成する際、参加者の重みを異なるように設定することもある。

実験結果

リサーチクエスチョン

• RQ1 データやアーキテクチャを共有せずに、異種モデルはフェデレーテッドラーニングで協力できるか。
• RQ2 多様なモデル間で知識をどのように翻訳して各参加者の性能を向上させるか。
• RQ3 孤立訓練およびプールデータの上限と比較して、どの程度の性能向上が達成可能か。
• RQ4 参加者間でi.i.d.および非i.i.d.データ分布の下で、フレームワークはどのように動作するか。

主な発見

• MNIST/FEMNISTおよびCIFAR10/CIFAR100全体で、FedMDは孤立した転移学習より有意な改善を示す。
• 10人の参加者で、最終テスト精度の向上は非協調ベースラインより平均約20%となる。
• 性能はプールされた私データの上限に近づき、数パーセントの差しかない。
• 予備的な結果は、MNISTで通常は協力前の精度が約99%、CIFAR10で約76%を示す。
• FedMDはi.i.d.および非i.i.d.の設定の双方で有効で、モデルアーキテクチャの異種性を伴う。
• 場合によっては、ある簡単なモデルがFedMDフレームワーク内で競合力のあるまたは優れた性能を達成できる。