[論文レビュー] Towards Non-I.I.D. and Invisible Data with FedNAS: Federated Deep Learning via Neural Architecture Search

Chaoyang He, Murali Annavaram+1 more|arXiv (Cornell University)|Apr 18, 2020

Privacy-Preserving Technologies in Data参考文献 10被引用数 30

ひとこと要約

論文は FedNAS を導入します。FedNAS は非IIDエッジクライアント間で CNN アーキテクチャを協調的に探索し、精度を向上させ、FedAvg のような手動設計ベースラインより優れた成績を示します。また AutoFL システムの実装と、非IIDデータ分布下の CIFAR-10 における経験的結果を提示します。

ABSTRACT

Federated Learning (FL) has been proved to be an effective learning framework when data cannot be centralized due to privacy, communication costs, and regulatory restrictions. When training deep learning models under an FL setting, people employ the predefined model architecture discovered in the centralized environment. However, this predefined architecture may not be the optimal choice because it may not fit data with non-identical and independent distribution (non-IID). Thus, we advocate automating federated learning (AutoFL) to improve model accuracy and reduce the manual design effort. We specifically study AutoFL via Neural Architecture Search (NAS), which can automate the design process. We propose a Federated NAS (FedNAS) algorithm to help scattered workers collaboratively searching for a better architecture with higher accuracy. We also build a system based on FedNAS. Our experiments on non-IID dataset show that the architecture searched by FedNAS can outperform the manually predefined architecture.

研究の動機と目的

• 非IIDデータ分布とアーキテクチャ適性の課題に対処する自動化された連合学習（AutoFL）を動機づける。
• 分散クライアント間でアーキテクチャと重みを共同で最適化する FedNAS フレームワークを提案する。
• 非IIDデータ上で手動設計のものより高い精度を達成できるアーキテクチャを FedNAS が見つけられることを示す。
• FedNAS の AutoFL システム設計と、非IID分布を伴う CIFAR-10 における経験的評価を提供する。

提案手法

• 各クライアントで重みとアーキテクチャを最適化するローカル NAS 探索器として MiLeNAS を使用する。
• 勾配に基づく探索を可能にするため、 differentiable mixed-operation セルを用いてアーキテクチャを表現する。
• ラウンドごとにクライアント間で加重平均による重みとアーキテクチャの連合を行う。
• FedNAS を FedML と PyTorch に基づく AutoFL システムと統合し、分散 NAS と学習を実現する。
• CIFAR-10 の非IIDデータシナリオを評価し、手動設計された DenseNet と比較して FedAvg を上回るかを検討する。

実験結果

リサーチクエスチョン

• RQ1 非IID データを伴う連合設定で協調的な NAS フレームワークはモデル性能を改善できるか？
• RQ2 FedNAS は heterogeneous なデータ分布下で手動設計ベースラインを上回る CNN アーキテクチャを見つけられるか？
• RQ3 実際に FedNAS と伝統的な FedAvg の効率性と通信トレードオフはどうなるか？

主な発見

• FedNAS は non-IID CIFAR-10 分布で FedAvg より高いテスト精度を達成する（平均 ~4% の改善）。
• 探索フェーズ中にも、FedNAS は手動設計済みのアーキテクチャを用いた場合よりも既に FedAvg を上回ることがある。
• FedNAS は分散設定でパラメータ数が少なく、FedAvg と比較して競争力のある性能を発見する。
• 分散 GPU リソース（例：16 クライアント）を用いた場合、中央集権的/手動探索と比べて探索・評価サイクルが速くなるとの報告。
• FedNAS をベースとした AutoFL システムは、連合 NAS タスクの実運用展開の実用的な可能性を示す。