[論文レビュー] SPIDER: Searching Personalized Neural Architecture for Federated Learning

Erum Mushtaq, Chaoyang He+2 more|arXiv (Cornell University)|Dec 27, 2021

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

SPIDERは、重み共有正則化を用いた交互二段階最適化により、グローバルなSupernetとクライアント固有のパーソナライズドサブネットワークを同時に最適化する、画期的なフェデレーテッドラーニングフレームワークを提案する。摂動に基づくニューラルアーキテクチャサーチを活用することで、最先端のパーソナライズド手法よりも高いテスト精度（perFedAvg比平均1.4%の向上）と、より推論効率の高いアーキテクチャを達成する。

ABSTRACT

Federated learning (FL) is an efficient learning framework that assists distributed machine learning when data cannot be shared with a centralized server due to privacy and regulatory restrictions. Recent advancements in FL use predefined architecture-based learning for all the clients. However, given that clients' data are invisible to the server and data distributions are non-identical across clients, a predefined architecture discovered in a centralized setting may not be an optimal solution for all the clients in FL. Motivated by this challenge, in this work, we introduce SPIDER, an algorithmic framework that aims to Search Personalized neural architecture for federated learning. SPIDER is designed based on two unique features: (1) alternately optimizing one architecture-homogeneous global model (Supernet) in a generic FL manner and one architecture-heterogeneous local model that is connected to the global model by weight sharing-based regularization (2) achieving architecture-heterogeneous local model by a novel neural architecture search (NAS) method that can select optimal subnet progressively using operation-level perturbation on the accuracy value as the criterion. Experimental results demonstrate that SPIDER outperforms other state-of-the-art personalization methods, and the searched personalized architectures are more inference efficient.

研究の動機と目的

• データの非独立同分布性（non-IID）とデータの非可視性を解決するため、クライアント固有のニューラルアーキテクチャサーチを可能にする。
• パーソナライズドアーキテクチャがサーバーに共有されない、プライバシーを守るフレームワークを設計する。
• 最適化のみに依存するパーソナライズド手法を超えて、モデル性能と推論効率を向上させる。
• グローバルモデルとパーソナライズドローカルモデルを同時に最適化するスケーラブルで交互なトレーニング手順を開発する。
• アーキテクチャパーソナライズが、非IIDなクライアントデータ分布において、より優れた一般化性能とロバスト性をもたらすことを実証する。

提案手法

• SPIDERは、共有グローバルなSupernetとクライアント固有のローカルサブネットワークという二つのモデルアーキテクチャを採用し、両者をDARTS探索空間から初期化する。
• フレームワークは、交互二段階最適化を用いる：グローバルSupernetは標準的なFedAvgで更新され、ローカルモデルは摂動に基づくNASを用いてトレーニングされる。
• グローバルSupernetとローカルサブネットワーク間で重み共有に基づく正則化を適用し、トレーニングの安定化と知識移転を実現する。
• SPIDER-Searcherは、操作レベルの精度値を摂動することで段階的なアーキテクチャサーチを実行し、各クライアントごとに最適なサブネットワークを選択する。
• トレーニングプロセスは3段階に分けられる：Supernetの事前トレーニング、アーキテクチャサーチ、ファインチューニング。検索の安定化のため、回復ラウンドを設ける。
• FLOPsと推定モデルサイズを用いてモデル効率を評価し、サーチ後には計算量とメモリ使用量が顕著に削減されていることを示す。

実験結果

リサーチクエスチョン

• RQ1 最適化のみに依存するパーソナライズド手法と比較して、パーソナライズドニューラルアーキテクチャサーチは、非IIDなフェデレーテッドラーニング環境で性能向上をもたらすか？
• RQ2 クライアントのデータプライバシーを守りつつ、モデル共有を回避する中で、どのようにしてアーキテクチャパーソナライズを実現できるか？
• RQ3 操作レベルの摂動による段階的アーキテクチャサーチは、FL環境でより効率的かつ正確なモデルをもたらすか？
• RQ4 重み共有正則化は、FLにおけるグローバル・ローカルモデルの更新を連携して最適化する際に、効果的に機能するか？
• RQ5 Ditto、perFedAvg、ローカル適応といった最先端のパーソナライズベースラインと比較して、SPIDERは精度、ロバスト性、推論効率の点で優れているか？

主な発見

• 8人のクライアントが関与するクロスシロフェデレーテッドラーニング設定において、Dirichlet非IIDデータを用いた実験で、SPIDERはperFedAvg（次善のベースライン）よりも平均で1.4%高いテスト精度を達成した。
• 8人のクライアントのうち7名でSPIDERはperFedAvgを上回り、唯一の例外はクライアント0で、ここではperFedAvgがわずかに優れていた。
• クライアントごとの精度の標準偏差が0.02に保たれ、perFedAvgやローカル適応と同等の安定性を示し、Ditto（0.03）を上回っている。
• サーチプロセス中に1ラウンドあたりの平均FLOPsが319Mから62Mに低下し、顕著な計算効率の向上が確認された。
• SPIDERの最終アーキテクチャの推定モデルサイズは14MBであり、Supernet（104MB）やResNet18（44MB）と比較して顕著に低く、推論効率の高さを示している。
• SPIDERが探索したアーキテクチャはパラメータ効率が高く、モデルサイズを190万から34万5千パラメータに削減しており、リソース制約のある環境でのデプロイに有利である。