[論文レビュー] Real-time Federated Evolutionary Neural Architecture Search

Hangyu Zhu, Yaochu Jin|arXiv (Cornell University)|Mar 4, 2020

Privacy-Preserving Technologies in Data参考文献 53被引用数 16

ひとこと要約

本稿では、二重サンプリング手法を用いて通信コストと計算コストを低減することで、フェデレーテッドラーニングにおける効率的で安定的かつ競争力のあるモデル探索を可能にする、リアルタイムのフェデレーテッド進化的ニューラルアーキテクチャサーチ（NAS）フレームワークを提案する。この手法は、1回の通信ラウンド内でマスターモデルからサブモデルをランダムにサンプリングし、ランダムに選択されたクライアント上で再初期化なしに訓練することで、オフライン手法に比べて収束が早く、リソース使用量も低い。

ABSTRACT

Federated learning is a distributed machine learning approach to privacy preservation and two major technical challenges prevent a wider application of federated learning. One is that federated learning raises high demands on communication, since a large number of model parameters must be transmitted between the server and the clients. The other challenge is that training large machine learning models such as deep neural networks in federated learning requires a large amount of computational resources, which may be unrealistic for edge devices such as mobile phones. The problem becomes worse when deep neural architecture search is to be carried out in federated learning. To address the above challenges, we propose an evolutionary approach to real-time federated neural architecture search that not only optimize the model performance but also reduces the local payload. During the search, a double-sampling technique is introduced, in which for each individual, a randomly sampled sub-model of a master model is transmitted to a number of randomly sampled clients for training without reinitialization. This way, we effectively reduce computational and communication costs required for evolutionary optimization and avoid big performance fluctuations of the local models, making the proposed framework well suited for real-time federated neural architecture search.

研究の動機と目的

• フェデレーテッドラーニングにおいてニューラルアーキテクチャサーチ（NAS）を実行する際の高い通信コストと計算コストを低減すること。
• 各世代ごとに再初期化と完全な再訓練を伴うオフライン進化的NASの制限を克服し、フェデレーテッド環境での不安定さと非効率性を解消すること。
• 進化的最適化と軽量で段階的なモデル更新を統合することで、フェデレーテッド環境におけるリアルタイムで即時のNASを実現すること。
• 最適化中にモデルの精度とFLOPs（計算複雑度）のパラメータのトレードオフを安定的に維持し、パラメータ最適なバランスを達成すること。
• オンライン推薦システムなど、低遅延とプライバシーが重要な実世界の応用に適したスケーラブルで実用的なフレームワークを開発すること。

提案手法

• 二重サンプリング手法を導入：マスターモデルからサブモデルをランダムにサンプリングし、再初期化なしにランダムに選択されたクライアントのサブセットに送信して訓練する。
• マスターモデルが全個体に共有されることで、重複するトレーニングと通信のオーバーヘッドを削減する。
• クライアントは自身のデータを用いてサンプリングされたサブモデルをローカルに訓練し、更新されたサブモデルを1回の通信ラウンド内で集約してマスターモデルを更新する。
• 進化的アルゴリズムは、モデルの精度とFLOPsの多目的最適化を実行し、多様なパラメータ最適なアーキテクチャの集合を維持する。
• 後代のモデルを再初期化しないことで、トレーニングの進捗を保持し、オフラインNASで一般的な性能劣化を防ぐ。
• 各世代あたりのクライアントのサンプリング数は、集団サイズとクライアントの利用可能性に比例し、負荷のバランスと効率的なリソース利用を確保する。

実験結果

リサーチクエスチョン

• RQ1 通信コストと計算コストを低減しつつ、モデルパフォーマンスを維持できるリアルタイムのフェデレーテッドNASフレームワークを設計できるか？
• RQ2 二重サンプリング手法は、フェデレーテッド環境における進化的NASの安定性と収束性にどのように影響するか？
• RQ3 提案手法は、標準的なモデル（例：ResNet18）と比較して顕著に低いFLOPsで、競争力のある精度を達成できるか？
• RQ4 リアルタイム進化的NASは、オフラインフェデレーテッドNASと比較して、トレーニング効率と最終的なモデルパフォーマンスの点で優れているか？
• RQ5 フレームワークは非IIDデータ分布を効果的に処理でき、多様なクライントデータにおいて安定したパフォーマンスを維持できるか？

主な発見

• 提案されたリアルタイム進化的NASは、最小限の変動で安定したパフォーマンスを示し、約200回の通信ラウンド後にResNet18を上回る。
• 提案手法により発見された最良のモデルは、75％を超えるテスト精度に達し、同じ条件下で75％を超えないままに終わったオフライン進化的NASを上回る。
• リアルタイム手法が発見したパラメータ最適な解は、ResNet18よりも顕著に低いFLOPsを示し、計算複雑度の低減を実証した。
• リアルタイムNASフレームワークは、オフライン手法と比較して1世代あたり約5倍速く、500世代のトレーニングにGPUあたり約16.1時間で完了する。
• フレームワークはモデルの安定性を維持し、オフラインNASで大きな問題となる再初期化による性能劣化を効果的に回避した。
• この手法は、精度-FLOPsトレードオフの全範囲にわたり均等に分布するパラメータ最適な解を生成し、クライアントの制約に応じた柔軟な展開を可能にした。