[論文レビュー] Federated Learning with Heterogeneous Architectures using Graph HyperNetworks

Or Litany, Haggai Maron+4 more|arXiv (Cornell University)|Jan 20, 2022

Advanced Graph Neural Networks被引用数 7

ひとこと要約

本稿では、構造的グラフからモデル重みを生成するグラフハイパーネットワーク（GHN）を用いて、異種のニューラルネットワークアーキテクチャを持つクライアント間で知識を共有できるフェデレーテッドラーニングフレームワーク、HAFL-GHNを提案する。この手法はCIFAR-10およびCIFAR-100で優れた性能を発揮し、未学習のアーキテクチャへも良好に一般化され、通信頻度を低くしても高い精度を維持する。

ABSTRACT

Standard Federated Learning (FL) techniques are limited to clients with identical network architectures. This restricts potential use-cases like cross-platform training or inter-organizational collaboration when both data privacy and architectural proprietary are required. We propose a new FL framework that accommodates heterogeneous client architecture by adopting a graph hypernetwork for parameter sharing. A property of the graph hyper network is that it can adapt to various computational graphs, thereby allowing meaningful parameter sharing across models. Unlike existing solutions, our framework does not limit the clients to share the same architecture type, makes no use of external data and does not require clients to disclose their model architecture. Compared with distillation-based and non-graph hypernetwork baselines, our method performs notably better on standard benchmarks. We additionally show encouraging generalization performance to unseen architectures.

研究の動機と目的

• 標準的なフェデレーテッドラーニングが同一のクライアントアーキテクチャを必要とするという制限を克服し、クロスプラットフォームおよび組織間連携を可能にすること。
• クライアントがモデル構造を明かさずに、外部データを用いずに異種アーキテクチャでのフェデレーテッドラーニングを可能にすること。
• 任意のネットワークトポロジーおよびレイヤー構成に適応可能なパラメータ共有メカニズムを開発すること。
• 学習可能でアーキテクチャに依存するハイパーネットを用いて、多様なアーキテクチャ間で効果的な知識集約を達成すること。
• 未学習のアーキテクチャへの一般化および通信レートが低い状況下での耐性を実証すること。

提案手法

• 各クライアントのニューラルネットワークを計算グラフとして表現し、ノードをレイヤー（パラメトリックおよびノンパラメトリック）とし、エッジをデータフロー接続とする。
• 構造的グラフを入力として受け取り、モデル重みを生成するグラフハイパーネット（GHN）を用い、アーキテクチャに依存しないパラメータ生成を実現する。
• 各クライアントが自らのプライベートデータおよびアーキテクチャを用いてローカルなGHNのコピーを学習し、サーバーではGHNの重みのみを集約する。
• GNNにおけるメッセージパッシングを活用してレイヤーの位置および構造的文脈を符号化し、異なるアーキテクチャ内でも類似するレイヤーが意味的に適切に符号化されるようにする。
• FedAvgを用いてクライアント間のGHN重みを集約し、グローバルGHNが共有で一般化された重み生成ポリシーを学習できるようにする。
• 訓練済みのGHNを用いて新しい未学習のアーキテクチャを初期化し、ローカルデータでファインチューニングすることで、高速な収束と優れた性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 根本的に異なるニューラルネットワークアーキテクチャを持つクライアント間で、フェデレーテッドラーニングが有効に知識を集約できるか？
• RQ2 ハイパーネットベースのアプローチにより、クライアントがモデルアーキテクチャを明かさずにパラメータ共有が可能か？
• RQ3 グラフ表現によるアーキテクチャ構造の符号化が、異種フェデレーテッドラーニングにおける性能および一般化性能を向上させるか？
• RQ4 通信頻度が、提案されたHAFL-GHNフレームワークの性能にどのように影響するか？
• RQ5 訓練済みのGHNは、最小限のファインチューニングで、以前に見られなかった新しいアーキテクチャに一般化可能か？

主な発見

• HAFL-GHNは、異種アーキテクチャを有するCIFAR-10およびCIFAR-100ベンチマークで最先端の性能を達成し、知識蒸留ベースおよび非グラフハイパーネットベースのベースラインを上回る。
• 未学習のアーキテクチャへの一般化が効果的に実現される：HAFL-GHN重みで初期化された4層のCNNは急速に収束し、フェデレーションで学習されたモデルと同等の性能に達する。
• 標準通信頻度の1/5にまで低くした場合でも、精度の低下は1%未満に抑えられ、通信頻度が低い状況下でも高い耐性を示す。
• GNNにおけるメッセージパッシングによるグラフ構造の符号化を導入したことで、構造的文脈を考慮しない同一レイヤー型の平均化ベースラインと比較して、7–10%の性能向上が達成された。
• 4つの主要アーキテクチャの1つを小型の4層CNNに置き換えた場合、平均的な性能低下はたったの2.2±1.4%にとどまり、初期化から学習を再開する場合に比べて顕著に優れた性能を示した。
• 深さやレイヤー構成が異なる多様なアーキテクチャに対しても、本手法は強力な性能を維持する。これは、アーキテクチャの柔軟性およびスケーラビリティを確認するものである。