[論文レビュー] Architecture Agnostic Federated Learning for Neural Networks

Disha Makhija, Xing Han+2 more|arXiv (Cornell University)|Feb 15, 2022

Privacy-Preserving Technologies in Data被引用数 12

ひとこと要約

本稿では、異種のニューラルネットワークアーキテクチャを持つクライアントが、プロキシ項と中心化カーネル整合性（CKA）距離を用いたインスタンスレベルの表現の整合性をとることで、パーソナライズドモデルを共同で訓練できる、アーキテクチャに依存しない新しいフェデレーテッドラーニングフレームワーク、FedHeNNを提案する。この手法は、特に異種設定において、FedAvg や FedProx より優れた性能を達成し、多様なモデルアーキテクチャおよびデータ制約において、強固な表現転送を可能にする。

ABSTRACT

With growing concerns regarding data privacy and rapid increase in data volume, Federated Learning(FL) has become an important learning paradigm. However, jointly learning a deep neural network model in a FL setting proves to be a non-trivial task because of the complexities associated with the neural networks, such as varied architectures across clients, permutation invariance of the neurons, and presence of non-linear transformations in each layer. This work introduces a novel Federated Heterogeneous Neural Networks (FedHeNN) framework that allows each client to build a personalised model without enforcing a common architecture across clients. This allows each client to optimize with respect to local data and compute constraints, while still benefiting from the learnings of other (potentially more powerful) clients. The key idea of FedHeNN is to use the instance-level representations obtained from peer clients to guide the simultaneous training on each client. The extensive experimental results demonstrate that the FedHeNN framework is capable of learning better performing models on clients in both the settings of homogeneous and heterogeneous architectures across clients.

研究の動機と目的

• クライアントの計算リソースやデータ分布のばらつきといったクライアントの非均質性に対処すること。
• FedAvg や FedProx などの既存のフェデレーテッドラーニング手法の限界を克服すること。これらの手法は共通のモデルアーキテクチャを必要とし、統計的およびシステム的非均質性に対処するのが困難である。
• クライアント間で共通のアーキテクチャを強制することなく、各クライアントがローカル制約に基づいて最適化できるパーソナライズドモデルトレーニングを可能にすること。
• 共有されたモデル重みではなく、整合された表現を通じた知識転送により、モデルのパフォーマンスと包括性を向上させること。
• 一部のクライアントがデータが少ない、または計算能力が低い状況でも、強いパフォーマンスを維持するフレームワークを開発すること。

提案手法

• FedHeNN は、クライントレーニングの目的関数にプロキシ項を導入し、異なるクライアント間での最終層表現の整合性を促進する。
• フレームワークは、異なるクライアントからの表現間の類似度を測定するためのカーネルベースの距離指標として、中心化カーネル整合性（CKA）を用いる。
• 各クライアントは、深さ、幅、活性化関数が異なる任意のアーキテクチャを持つパーソナライズドニューラルネットワークをトレーニングする。
• プロキシ項により、異なるクライアント間で同じ入力インスタンスの表現が引き寄せられ、アーキテクチャの違いを越えて知識転送が可能になる。
• 本手法は、共通のアーキテクチャと異種のアーキテクチャの両方をサポートし、CIFAR-10、CIFAR-100、Sentiment140 データセットを用いた実験的評価が行われた。
• 一部のクライアントでデータが減少してもフレームワークは頑健であり、高頻度のローカルエポックでもパフォーマンスを維持する。

実験結果

リサーチクエスチョン

• RQ1 共通のグローバルモデルアーキテクチャを必要とせずに、異種のニューラルネットワークアーキテクチャを持つクライアントにフェデレーテッドラーニングを効果的に拡張できるか？
• RQ2 異なるモデル容量およびアーキテクチャを持つクライアント間で、プライバシーを守りつつ知識をどのように転送できるか？
• RQ3 CKA とプロキシ項による表現レベルの整合性が、フェデレーテッドラーニングにおける重みベースのアグリゲーションと比較して、一般化性能やパフォーマンスを向上させるか？
• RQ4 FedHeNN は、一部のクライアントでデータがスパースまたは計算リソースが制限された状況でもどのように動作するか？
• RQ5 CKA に基づく表現整合性において、異なるカーネルタイプ（線形 vs. RBF）が、FedHeNN に与える影響は何か？

主な発見

• FedHeNN は、共通のアーキテクチャを用いた CIFAR-10 で 94.47% のテスト精度を達成し、共通および異種設定の両方で FedAvg や FedProx を上回る性能を示した。
• 異種設定では、クライアントが異なるサイズやアーキテクチャのモデルを使用しても、強力なパフォーマンスを維持し、アーキテクチャの柔軟性を示した。
• CKA における RBF カーネルと線形カーネルの両方で同等の性能が得られ、RBF カーネルでは CIFAR-10 で 93.03%、線形カーネルでは 94.47% の精度を達成した。
• FedHeNN はデータ減少に頑健である。クライアントのデータが 50% 減少しても、平均テスト精度は滑らかに低下し、データスパarsity に耐性があることが示された。
• FedAvg とは異なり、高頻度のローカルエポック（最大 20）でも、FedHeNN は安定したパフォーマンスを維持しており、プロキシ項が発散を抑制していることが示された。
• 計算能力が低いクライアントも効果的に参加でき、従来の手法で除外される場合に性能が低下するのを回避できる。