[論文レビュー] FedorAS: Federated Architecture Search under system heterogeneity

Łukasz Dudziak, Stefanos Laskaridis+1 more|arXiv (Cornell University)|Jun 22, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

FedorASは、異種のデバイスと非IIDデータを有するクロスデバイス環境を想定したリソースに配慮したフェデレーテッドニューラルアーキテクチャサーチ（NAS）システムを提案する。サーバ上に配置されたスーパーネットワークに加え、段階的なクライアントクラスタリングと新規のOPA集約手法を用いることで、システムの異種性を考慮しつつも、高パフォーマンスを維持したまま、軽量で効率的なオンデバイスNASを実現する。

ABSTRACT

Federated learning (FL) has recently gained considerable attention due to its ability to learn on decentralised data while preserving client privacy. However, it also poses additional challenges related to the heterogeneity of the participating devices, both in terms of their computational capabilities and contributed data. Meanwhile, Neural Architecture Search (NAS) has been successfully used with centralised datasets, producing state-of-the-art results in constrained or unconstrained settings. However, such centralised datasets may not be always available for training. Most recent work at the intersection of NAS and FL attempts to alleviate this issue in a cross-silo federated setting, which assumes homogeneous compute environments with datacenter-grade hardware. In this paper we explore the question of whether we can design architectures of different footprints in a cross-device federated setting, where the device landscape, availability and scale are very different. To this end, we design our system, FedorAS, to discover and train promising architectures in a resource-aware manner when dealing with devices of varying capabilities holding non-IID distributed data. We present empirical evidence of its effectiveness across different settings, spanning across three different modalities (vision, speech, text), and showcase its better performance compared to state-of-the-art federated solutions, while maintaining resource efficiency.

研究の動機と目的

• デバイスの計算能力にばらつきがあり、データ分布が非IIDであるクロスデバイスフェデレーテッドラーニング環境において、ニューラルアーキテクチャサーチ（NAS）を実行する課題に対処すること。
• 中央集権的で整理されたデータセットに依存する従来のNAS手法の限界を克服し、プライバシーを保護する仕組みを提供すること。
• デバイス固有の計算および帯域幅制約を尊重しつつ、効率的かつ軽量なオンデバイスNASを実現するシステムを設計すること。
• データおよびシステムの異種性にもかかわらず、多様なモダリティ（視覚、音声、テキスト）において高いモデルパフォーマンスを維持すること。
• 共有されたスーパーネットワークと段階的クライアント参加を用いることで、NAS中の通信および計算コストを最小限に抑えること。

提案手法

• デバイスのハードウェア能力に基づいてクライアントを計算能力の段階にクラスタリングし、リソースに配慮したNASを可能にする。
• 計算複雑度の全範囲をカバーする1つの包括的なスーパーネットワークを構築し、これにより探索空間および重み共有のバックボーンとして機能させる。
• デバイスの能力に応じてスパースかつ確率的な方法でスーパーネットワークをクライアントに共有し、通信オーバーヘッドを最小限に抑える。
• ワンショットパスサンプリングを変更して、FLOPsに配慮したサンプリングを用いた、軽量でオンデバイスでのアーキテクチャ評価および学習を可能にする。
• OPA（オペレータ集約）を導入し、スーパーネットワーク内のパスの動作周波数に基づいてクライアントの更新を重みづけする周波数に配慮した集約手法を提供する。
• 完全なモデル学習からNASを分離し、ファインチューニングの前に、トレーニング済みスーパーネットワークから高品質な事前学習済みサブネットワークを早期に抽出可能にする。

実験結果

リサーチクエスチョン

• RQ1 顕著なシステム的およびデータ的異種性を有するクロスデバイスフェデレーテッド環境において、ニューラルアーキテクチャサーチを効果的に行うことは可能か？
• RQ2 デバイスリソース制約下でも効率的かつスケーラブルにNASを実行するにはどうすればよいか？
• RQ3 計算能力およびデータ分布が異なるクライアントからの知識統合を効果的に行うには、どのような集約戦略が有効か？
• RQ4 提案手法は、精度および通信効率の面で、最先端のフェデレーテッドNAS手法をどの程度上回るか？
• RQ5 各デバイスで完全なファインチューニングを要せず、スーパーネットワークから早期に高品質なタスク固有のモデルを抽出することは可能か？

主な発見

• 低非IID状態（α=1、100クライアント）において、3ラウンド以内でフェデレーテッド評価と中央集権的評価の間で Kendall-τ ランキング相関が 0.8 を達成する。
• 高非IID状態（α=0.1）かつ500クライアントの場合、同等のランク適合性に到達するためのフェデレーテッド評価ラウンド数は6に増加し、データの異種性に起因するコストの増加を示している。
• NASの進行に伴いスーパーネットワークのサイズが減少する傾向を示しており、探索期間が長くなっても通信コストが比例して増加しないことを示している。
• 視覚、音声、テキストの各タスクにおいて高いパフォーマンスを維持しており、モダリティ間での一般化能力を示している。
• OPA集約手法により、パスの周波数に基づいた更新の重みづけによって収束性とパフォーマンスが向上し、異種環境下でのモデル品質が向上している。
• トレーニング済みスーパーネットワークから抽出した事前学習済みサブネットワークは、最小限の追加のオンデバイス学習で競争力のあるパフォーマンスを達成しており、ファインチューニングラウンド数が削減されている。