[論文レビュー] ASFGNN: Automated Separated-Federated Graph Neural Network

Longfei Zheng, Jun Zhou+4 more|arXiv (Cornell University)|Nov 6, 2020

Advanced Graph Neural Networks参考文献 26被引用数 5

ひとこと要約

本稿では、非独立同分布（Non-IID）データと通信非効率性の問題に対処するため、GNN学習をクライアント側のメッセージパッシングとフェデレーテッド損失計算に分離する自動化された分離型フェデレーテッドグラフニューラルネットワーク（ASFGNN）を提案する。新しい分離型フェデレーテッド学習フレームワークとハイパーパrameterチューニングにベイズ最適化を組み合わせることで、実世界のデータセットにおいて、グリッドサーチに比べて最大102.56倍高速なハイパーパrameter探索と顕著に高い精度を達成する。

ABSTRACT

Graph Neural Networks (GNNs) have achieved remarkable performance by taking advantage of graph data. The success of GNN models always depends on rich features and adjacent relationships. However, in practice, such data are usually isolated by different data owners (clients) and thus are likely to be Non-Independent and Identically Distributed (Non-IID). Meanwhile, considering the limited network status of data owners, hyper-parameters optimization for collaborative learning approaches is time-consuming in data isolation scenarios. To address these problems, we propose an Automated Separated-Federated Graph Neural Network (ASFGNN) learning paradigm. ASFGNN consists of two main components, i.e., the training of GNN and the tuning of hyper-parameters. Specifically, to solve the data Non-IID problem, we first propose a separated-federated GNN learning model, which decouples the training of GNN into two parts: the message passing part that is done by clients separately, and the loss computing part that is learnt by clients federally. To handle the time-consuming parameter tuning problem, we leverage Bayesian optimization technique to automatically tune the hyper-parameters of all the clients. We conduct experiments on benchmark datasets and the results demonstrate that ASFGNN significantly outperforms the naive federated GNN, in terms of both accuracy and parameter-tuning efficiency.

研究の動機と目的

• クライアント間でのデータ隔離に起因する非IIDグラフデータにおけるGNNトレーニングの課題に対処すること。
• 通信帯域が限られたフェデレーテッドGNN環境におけるハイパーパrameterチューニングの高コストを克服すること。
• 実世界のアプリケーションに適したクロスシロ型フェデレーテッドラーニングにおいてスケーラブルかつプライバシーを保護するGNNトレーニングパラダイムを設計すること。
• メッセージパッシングと損失計算の分離により、フェデレーテッドモデルアグリゲーションを可能にしながらモデル性能を向上させること。

提案手法

• GNNトレーニングを2段階に分解：共有された識別モデルを用いたクライアントローカルのメッセージパッシングとフェデレーテッド損失計算。
• フェデレーテッドアグリゲーション中に、局所的識別モデルをグローバルモデルと一致させるためにJensen–Shannonダイバージェンスを用いる。
• 最小限の通信で、クライアント全体にわたるハイパーパrameter（例：学習率、L2正則化、ドロップアウト）の自動チューニングにベイズ最適化を適用する。
• サーバー上でクライアントの評価指標（例：適合率）を収集・平均化し、ベイズ最適化をガイドする。
• SMAC3を活用して、探索空間を縮小し収束を高速化する効率的なハイパーパrameterサーチを実現する。
• 生の特徴量と埋め込みをクライアントで保持することでプライバシーを確保し、送信するのはモデル更新と指標のみとする。

実験結果

リサーチクエスチョン

• RQ1 分離型フェデレーテッドGNNフレームワークは、非IIDグラフデータ環境下で標準的なフェデレーテッドGNNを上回る性能を発揮できるか？
• RQ2 ラベル分布の偏り（αで測定）の程度が異なる条件下で、本手法はどのように性能を示すか？
• RQ3 グローバルデータが存在しない状況下で、Jensen–Shannonダイバージェンスの使用がモデルの整合性と性能を向上させるか？
• RQ4 グリッドサーチに比べてモデル精度を損なわず、ハイパーパrameterチューニング時間を短縮できるか？
• RQ5 クライアント数の変化が、非IID環境下での全体的なモデル精度に与える影響は何か？

主な発見

• ASFGNNは、全テストデータセットで標準的なフェデレーテッドGNNを上回り、特に深刻なラベルスケイ（α > 0.88）下で顕著に高い平均精度を達成する。
• Jensen–Shannonダイバージェンス（JS）を用いたモデルは、非JSバージョンに比べ常に性能が向上し、α = 1.0で3.66%の精度向上を達成する。
• ベイズ最適化により、Pubmedデータセットにおいてグリッドサーチに比べてハイパーパrameterチューニング時間が最大102.56倍短縮された。
• Coraデータセットにおいて、クライアント数を2から5に増加させるとASFGNNの平均精度が上昇し、データ隔離下での一般化性能の向上が示された。
• ベイズ最適化の高速化効果は、データセットサイズが大きくなるに従って増大し、大規模でデータ隔離された環境におけるスケーラビリティを示している。
• 複数のクライアントを用いても、中央集権的トレーニング（CMモデル）と同等またはそれ以上の精度を達成しており、非IIDデータに対して強いロバストネスを示している。