[論文レビュー] FL-AGCNS: Federated Learning Framework for Automatic Graph Convolutional Network Search

Chunnan Wang, Bozhou Chen+2 more|arXiv (Cornell University)|Apr 9, 2021

Privacy-Preserving Technologies in Data参考文献 19被引用数 12

ひとこと要約

FL-AGCNSは、分散クライアント間でプライバシーを守りながら効率的なアーキテクチャ探索を可能にする、自動グラフ畳み込みニューラルネットワーク探索のための最初のフェデレーテッドラーニングフレームワークである。フェデレーテッド進化最適化とGCNスーパーネットを組み合わせることで、グローバルおよびクライアント固有のアーキテクチャを同時に最適化し、FL環境下で既存のNAS手法を上回る精度と探索効率を達成する。

ABSTRACT

Recently, some Neural Architecture Search (NAS) techniques are proposed for the automatic design of Graph Convolutional Network (GCN) architectures. They bring great convenience to the use of GCN, but could hardly apply to the Federated Learning (FL) scenarios with distributed and private datasets, which limit their applications. Moreover, they need to train many candidate GCN models from scratch, which is inefficient for FL. To address these challenges, we propose FL-AGCNS, an efficient GCN NAS algorithm suitable for FL scenarios. FL-AGCNS designs a federated evolutionary optimization strategy to enable distributed agents to cooperatively design powerful GCN models while keeping personal information on local devices. Besides, it applies the GCN SuperNet and a weight sharing strategy to speed up the evaluation of GCN models. Experimental results show that FL-AGCNS can find better GCN models in short time under the FL framework, surpassing the state-of-the-arts NAS methods and GCN models.

研究の動機と目的

• 分散型でプライベートなグラフデータを扱うフェデレーテッドラーニング（FL）環境に適したニューラルアーキテクチャ探索（NAS）手法の不足に対処すること。
• FL環境において多数のGCN候補を再訓練から始めることによる高い通信コストと計算コストを解消するための非効率性を克服すること。
• クライアント固有のデータ特性を尊重しつつグローバルモデルの性能を向上させる協調的最適化戦略を設計すること。
• 重み共有を活用したGCNスーパーネットを導入することで、アーキテクチャを再訓練から始めずに済ませることで、FLにおける探索効率を向上させること。

提案手法

• 中央コントローラーと個々のクライアントに別々の進化最適化器を維持するフェデレーテッド進化最適化（FEO）戦略を提案し、グローバルとローカルの両方の性能をバランスさせる。
• パラメータ共有を実現するGCNスーパーネットを導入し、再訓練から始めずに多数のGCNアーキテクチャを効率的に評価可能にする。
• コントローラーレベルとクライアントレベリングの進化プロセスの寄与をバランスさせるために学習可能なハイパーパrameter γ を用いたハイブリッド最適化目的関数を採用する。
• メティスアルゴリズムを用いた部分グラフ分割を適用し、外部エッジ接続が最小限の現実的なFLクライアントデータ分布をシミュレートする。
• 事前に定義された探索空間からアーキテクチャをサンプリングするためのポリシー勾配ベースのコントローラーを採用するとともに、クライアント固有の最適化器がローカルデータに基づいてアーキテクチャを最適化する。
• 各クライアントがローカルモデルを訓練し、データプライバシーを保ちながら勾配またはモデル更新のみを共有する分散学習を実行する。

実験結果

リサーチクエスチョン

• RQ1 分散型でプライベートなグラフデータを扱うフェデレーテッドラーニング環境に、NASフレームワークを効果的に適応できるか？
• RQ2 再訓練から始めることのコストが非常に高いFL環境において、GCNアーキテクチャ探索の効率をどのように向上させられるか？
• RQ3 中央集権的最適化に加えて、クライアント固有の最適化器がフェデレーテッドGCNモデルの性能向上に果たす役割は何か？
• RQ4 重み共有を活用したスーパーネットの統合は、FL環境における探索効率とモデル性能にどのように影響を与えるか？
• RQ5 部分グラフ分割戦略の選択が、フェデレーテッドNASプロセスの有効性にどの程度影響を及えるか？

主な発見

• CorAデータセットにおいてFL-AGCNSは82.9%のFLACCを達成し、ControllerEO（71.6%）やClientEO（78.6%）を大きく上回り、二重最適化器の必要性を示している。
• 5つのベンチマークデータセットにおいて、最先端のNAS手法および既存のGCNモデルを上回り、フェデレーテッド環境下での有効性を確認している。
• FL-AGCNSは1エポックあたり0.0339秒の探索時間にまで短縮され、スーパーネットによる重み共有のおかげで高い効率性を示している。
• アブレーションスタディにより、RandomPartitionは低性能（52.6% FLACC）であることが判明し、外部接続が少ない構造的で整合性のある部分グラフがFLにおいて重要であることが強調された。
• FL-AGCNSが発見したGCNアーキテクチャは、ベースラインモデルよりも高い性能とより高い複雑性を達成しており、優れたアーキテクチャ品質を示している。
• コントローラーレベルとクライアントレベリングの進化最適化器の組み合わせにより、特に初期世代において収束が速く、一般化性能が向上している。