[論文レビュー] Federated Mutual Learning

Tao Shen, Jie Zhang+7 more|arXiv (Cornell University)|Jun 27, 2020

Privacy-Preserving Technologies in Data参考文献 29被引用数 71

ひとこと要約

Federated Mutual Learning (FML) は、深層相互学習を用いて、連邦設定におけるデータ・目的関数・モデルの異質性を扱いながら、汎用的なグローバルモデルと個別のローカルモデルを同時に訓練します。ローカルのミームモデルと個別モデルを相互知識蒸留によって更新し、ミームモデルを集約して新しいグローバルモデルを形成します。

ABSTRACT

Federated learning (FL) enables collaboratively training deep learning models on decentralized data. However, there are three types of heterogeneities in FL setting bringing about distinctive challenges to the canonical federated learning algorithm (FedAvg). First, due to the Non-IIDness of data, the global shared model may perform worse than local models that solely trained on their private data; Second, the objective of center server and clients may be different, where center server seeks for a generalized model whereas client pursue a personalized model, and clients may run different tasks; Third, clients may need to design their customized model for various scenes and tasks; In this work, we present a novel federated learning paradigm, named Federated Mutual Leaning (FML), dealing with the three heterogeneities. FML allows clients training a generalized model collaboratively and a personalized model independently, and designing their private customized models. Thus, the Non-IIDness of data is no longer a bug but a feature that clients can be personally served better. The experiments show that FML can achieve better performance than alternatives in typical FL setting, and clients can be benefited from FML with different models and tasks.

研究の動機と目的

• データの非IID性、サーバー-クライアント間の目的の不一致、モデルの異質性という3つの異質性の下でフェデレーテッドラーニングを動機づける。
• カスタマイズ可能なアーキテクチャを備えた、汎用的なグローバルモデルと個別のローカルモデルを訓練する柔軟な FL フレームワーク (FML) を提案する。
• 局所更新中に、ミーム（グローバルにアンカーされた）と個別モデル間で双方向の知識移転を可能にする深層相互学習を活用する。
• クライアントが独自のカスタマイズモデルを設計できる一方で、グローバルなミームモデルが学習する共通表現を通じた協調の恩恵を受ける。

提案手法

• 各クライアントごとに2モデルのローカル設定を導入する：現在のグローバルモデルからフォークしたミームモデルとクライアント固有の個別モデル。
• 局所更新機構として深層相互学習（DML）を適用し、ミームと個別モデル間で双方向のKL発散に基づく蒸留を行う。
• 局所更新損失を定義する：L_local = alpha * L_C_local + (1 - alpha) * KL(p_meme || p_local); L_meme = beta * L_C_meme + (1 - beta) * KL(p_local || p_meme）。
• 各ラウンドごとに、クライアントは私有データ上でDMLを用いてミームモデルと個別モデルを更新し、その後ミームモデルをサーバへ送って単純平均によるグローバル集約を行う。
• 収束時、グローバルモデルは結合データ上の汎用モデルを表し、個別モデルはクライアント上に残り、各自の局所分布に合わせて調整されている。
• 集約時のサンプル数の重み付けを廃止し、各クライアントを等しく扱うことで、プライバシーと公正性の考慮事項について論じる。

実験結果

リサーチクエスチョン

• RQ1 データの非 IID 性に頑健でありながら、個別ローカルモデルを提供するフェデレーテッドラーニングはどのように実現できるか？
• RQ2 相互知識移転を備えた2モデルの局所更新は、標準的な FedAvg 系統と比較してグローバルな一般化と局所の個別化の両方を改善できるか？
• RQ3 モデルの異質性（クライアントごとに異なるアーキテクチャ）は、Federated Mutual Learning における性能にどう影響するか？
• RQ4 トレーニング中のデータ駆動学習と知識移 Transferのバランスを取るための最適な alpha および beta の設定は何か？
• RQ5 集約時のサンプル数の重み付けを放棄することのプライバシーと公正性への影響は何か？

主な発見

• FML は、典型的な FL 設定において、IID・非 IID データの両方、複数のモデルファミリーにおいて、通常 FedAvg および FedProx を上回る。
• DML ベースの局所更新は KL 発散を介して強い正則化を提供し、非 IID データ下で安定した訓練軌跡を生み出す。
• 異なるタスクやアーキテクチャを持つクライアントは、グローバルなミームモデルが学習する共有表現から恩恩を受け、モデル異質性を支援する。
• 個別モデルは独立性を保ち私有データ上で継続して学習する一方、ミームモデルはグローバルに集約してグローバルモデルの次世代を形成する。
• n_k/n 重み付けを排除し、クライアントを同等に扱うことで、プライバシーと公正性の考慮を高められ、多くの設定で性能への影響はごく僅かである。