[論文レビュー] STFL: A Temporal-Spatial Federated Learning Framework for Graph Neural Networks

Guannan Lou, Yuze Liu+2 more|arXiv (Cornell University)|Nov 12, 2021

Privacy-Preserving Technologies in Data参考文献 28被引用数 11

ひとこと要約

STFLは、空間時系列データをグラフ構造の入力に変換する新しいフェデレーテッドラーニングフレームワークを提案する。これにより、プライバシーを守りながら共同でモデルを訓練できる。ノード相関関数（PLVやPCC）を用いて動的隣接行列と特徴量を構築することで、STFLはISRUC_S3睡眠ステージデータセットにおいて、集中型ベースラインを上回る優れた一般化性能を達成した。

ABSTRACT

We present a spatial-temporal federated learning framework for graph neural networks, namely STFL. The framework explores the underlying correlation of the input spatial-temporal data and transform it to both node features and adjacency matrix. The federated learning setting in the framework ensures data privacy while achieving a good model generalization. Experiments results on the sleep stage dataset, ISRUC_S3, illustrate the effectiveness of STFL on graph prediction tasks.

研究の動機と目的

• 生データの空間時系列データに対して事前定義されたグラフ構造が存在しない状況でGNNを学習する課題に対処すること。特に、データプライバシー制約下での学習を想定する。
• 空間相関と時系列特徴抽出を用いて、時系列データから自動的にグラフ表現を生成するエンドツーエンドのフレームワークを開発すること。
• このグラフ生成プロセスをフェデレーテッドラーニングの文脈に統合し、データプライバシーを守りながら分散クライアント間でモデル一般化性能を向上させること。
• 実世界のグラフレベル予測タスク、特に睡眠ステージ分類のような医療分野への応用を想定し、フレームワークの有効性を評価すること。
• フェデレーテッド環境下でGNNの性能を最適化するために、異なるノード相関関数（PLV、PCC、DB、K-NN）が隣接行列を構築する効果を比較すること。

提案手法

• グラフジェネレータモジュールは、特徴抽出に畳み込みニューラルネットワークを、エッジ構築に相関関数を用いて、生の空間時系列シーケンスをノード特徴量と隣接行列に変換する。
• 本フレームワークは、ピアソン相関係数（PCC）、位相ロック値（PLV）、距離ベース（DB）、K近傍（K-NN）といった複数のノード相関関数を用い、時系列データから動的グラフトポロジーを定義する。
• クライアントが生成したグラフ上で局所的なGNNモデルを学習し、更新情報を中央サーバーに送信して平均化するFedAvgを用いるエンドツーエンドのフェデレーテッドラーニングパイプラインを設計する。
• 本フレームワークはグラフレベル分類タスクをサポートしており、非IIDデータ分布を模擬する実世界のフェデレーテッド環境を想定して、モデルの学習と評価が行われる。
• グラフジェネレータは、GCN、GAT、GraphSageの3つのGNNアーキテクチャと統合され、フェデレーテッドラーニング下でのモデル性能を比較分析可能となる。
• フェデレーテッド学習と集中型学習の両設定でハイパーパrameterを同一に保つことで、一般化性能の公平な比較を実現する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニング下で、空間時系列GNNの隣接行列構築に用いる異なるノード相関関数（PLV、PCC、DB、K-NN）の有効性はいかほどか？
• RQ2 特にデータがプライバシーに配慮された状況下で、STFLは非IIDデータ環境下において集中型学習を上回るモデル一般化性能を達成できるか？
• RQ3 STFLフレームワーク下で、グラフレベル分類タスクにおける空間時系列データの処理に最も適したGNNアーキテクチャ（GCN、GAT、GraphSage）はどれか？
• RQ4 同じ学習データサイズとハイパーパrameterを用いた場合、フェデレーテッドモデルの性能は集中型モデルと比べてどの程度か？
• RQ5 相関関数の選択が、フェデレーテッドGNN学習における収束速度と最終的なモデル精度に顕著な影響を与えるか？

主な発見

• 位相ロック値（PLV）相関関数は、PCC、DB、K-NNを常に上回り、ISRUC_S3データセットにおけるすべてのフェデレーテッドGNNモデルで最高の平均F1スコアを達成した。
• PLVを用いたFed-GraphSageは、フェデレーテッドモデルの中で最高のF1スコア（0.848）と精度（0.857）を記録し、一部のケースで集中型ベースラインを上回った。
• すべてのフェデレーテッドモデルが、同じサイズのローカルデータで学習した集中型モデルと比較してより優れた一般化性能を示した。これは、STFLが非IIDデータ分布を効果的に処理できていることを示している。
• GraphSageはREM睡眠ステージクラス（F1 = 0.831）で最も安定した学習ダイナミクスと高いF1スコアを示した一方、GCNは他のクラスで最も優れた性能（F1 > 0.90）を示した。
• すべてのモデルの学習損失が最終エポックで著しく変動しており、特に後期の学習段階でクライアントがグローバルモデルを自らのローカルデータに適合させることに苦労している可能性がある。
• 本フレームワークは、生の睡眠EEGデータをグラフ構造の入力に効果的に変換でき、フェデレーテッドラーニングによるデータプライバシー保護を維持しながら、有効なGNN学習を可能にした。