[論文レビュー] Resource-Aware Heterogeneous Federated Learning using Neural Architecture Search

Sixing Yu, Muñoz, J. Pablo+1 more|arXiv (Cornell University)|Nov 9, 2022

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本稿では、神経アーキテクチャ探索（NAS）を用いて、異種のエッジデバイスにカスタマイズされ、リソース効率の高いモデルアーキテクチャを展開する、リソースに配慮したフェデレーテッドラーニング（RaFL）という新規フレームワークを提案する。NASを知識蒸留とマルチモデル統合と統合することで、最先端の手法と比較して、収束性が優れており、モデル複雑度が3.23倍低く、通信コストが1260 GBも削減された。また、データおよびシステムの非同一性下でも高い精度を維持している。

ABSTRACT

Federated Learning (FL) is extensively used to train AI/ML models in distributed and privacy-preserving settings. Participant edge devices in FL systems typically contain non-independent and identically distributed (Non-IID) private data and unevenly distributed computational resources. Preserving user data privacy while optimizing AI/ML models in a heterogeneous federated network requires us to address data and system/resource heterogeneity. To address these challenges, we propose Resource-aware Federated Learning (RaFL). RaFL allocates resource-aware specialized models to edge devices using Neural Architecture Search (NAS) and allows heterogeneous model architecture deployment by knowledge extraction and fusion. Combining NAS and FL enables on-demand customized model deployment for resource-diverse edge devices. Furthermore, we propose a multi-model architecture fusion scheme allowing the aggregation of the distributed learning results. Results demonstrate RaFL's superior resource efficiency compared to SoTA.

研究の動機と目的

• エッジデバイスの計算リソースにばらつきがあり、非IIDのデータ分布を持つフェデレーテッドラーニングにおける、システム的およびデータ的非同一性の課題に対処すること。
• すべてのクライアントに均一なモデルを適用するのではなく、デバイス固有の最適に近いニューラルアーキテクチャを展開することで、リソースの効率的利用を向上させること。
• 軽量な知識ネットワークを導入することで、大規模なFLにおける通信オーバーヘッドを低減すること。
• 二重の知識蒸留とマルチモデル集約を用いて、異種のモデルアーキテクチャ間での効果的な知識統合を可能とすること。
• リソース制限のあるデバイス上で、高い収束精度と推論速度を実現するとともに、エネルギー消費を最小限に抑えること。

提案手法

• ローカルな計算制約に基づいて、リソースに配慮したクライアント固有のサブネットワークを生成するために、FLパイプラインに神経アーキテクチャ探索（NAS）を統合する。
• 全クライアント間で知識移転を標準化するために、共有で小型の学生ネットワークをグローバルな知識媒体として展開する。
• クライアント固有のモデルとそれに対応する学生ネットワークとの間で深い相互学習を実施し、知識共有とモデルの頑健性を強化する。
• アンサンブル蒸留を用いたマルチモデルアーキテクチャ統合により、局所的な知識を集約し、グローバルモデルのパフォーマンスを向上させる。
• 各クライアントの能力に適合した多様で低複雑度のアーキテクチャを効率的に生成するために、スーパーネットワークプールを活用する。
• スケーラビリティと頑健性を向上させるために、トランスファー学習、公開データ、アンサンブル手法との柔軟な統合を可能とする。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにNASを効果的に統合し、クライアント固有でリソース効率の高いモデルアーキテクチャを生成できるか？
• RQ2 知識蒸留を用いた異種モデルの展開が、非IIDおよびシステム非同一性を持つFL環境での収束性と精度に与える影響はいかほどか？
• RQ3 さまざまなリソース制約下で、SoTAのFL手法と比較してRaFLは通信オーバーヘッドをどの程度低減できるか？
• RQ4 クライアントの計算能力に著しい差がある状況でも、RaFLは高い精度と安定性を維持できるか？
• RQ5 アンサンブル蒸留とマルチモデル統合は、非同一なFL環境におけるグローバルモデルの頑健性と一般化性能を向上させられるか？

主な発見

• ResNetを用いたCIFAR-100では、RaFLが65%の精度を達成したが、これは、モデル容量がはるかに小さいにもかかわらず、FedNova（43%）やFedAvg（40%）を大きく上回った。
• SoTAベースラインと比較して、RaFLは合計で1260 GBの通信コストを削減し、大規模なFL環境における顕著な効率性向上を示した。
• RaFLの平均モデル容量は47 MFLOPsであり、ベースライン比で3.23倍も低く、極めてリソースに制限のある環境下でも高いパフォーマンスを維持した。
• 低性能デバイスでは96%、高機能デバイスでは90%のリソース利用率を達成し、同じ制約下でベースラインより13.3%高い利用効率を示した。
• 3000クライアントを含む大規模なFEMNIST実験では、RaFLはFedAvgと同等のテスト精度を達成しながら、通信オーバーヘッドを50%以上削減した。
• クライアントの計算能力に最大2倍の差があっても、RaFLは安定した収束と類似した学習トレンドを示し、システム非同一性に対する頑健性を実証した。