[論文レビュー] Federated Learning on Non-IID Graphs via Structural Knowledge Sharing

Yue Tan, Yixin Liu+4 more|arXiv (Cornell University)|Nov 23, 2022

Advanced Graph Neural Networks被引用数 10

ひとこと要約

FedStarは、独立した構造エンコーダーを介して構造的埋め込みを明示的に学習・共有することにより、構造的知識と特徴ベースの知識を分離するフェデレーテッドグラフ学習フレームワークを提案する。非IIDグラフ設定において、ドメイン不変の構造的知識を捉えながらも、パーソナライズされた特徴学習を維持することで、優れた性能を達成する。

ABSTRACT

Graph neural networks (GNNs) have shown their superiority in modeling graph data. Owing to the advantages of federated learning, federated graph learning (FGL) enables clients to train strong GNN models in a distributed manner without sharing their private data. A core challenge in federated systems is the non-IID problem, which also widely exists in real-world graph data. For example, local data of clients may come from diverse datasets or even domains, e.g., social networks and molecules, increasing the difficulty for FGL methods to capture commonly shared knowledge and learn a generalized encoder. From real-world graph datasets, we observe that some structural properties are shared by various domains, presenting great potential for sharing structural knowledge in FGL. Inspired by this, we propose FedStar, an FGL framework that extracts and shares the common underlying structure information for inter-graph federated learning tasks. To explicitly extract the structure information rather than encoding them along with the node features, we define structure embeddings and encode them with an independent structure encoder. Then, the structure encoder is shared across clients while the feature-based knowledge is learned in a personalized way, making FedStar capable of capturing more structure-based domain-invariant information and avoiding feature misalignment issues. We perform extensive experiments over both cross-dataset and cross-domain non-IID FGL settings, demonstrating the superiority of FedStar.

研究の動機と目的

• 異なるドメインからなる非IIDグラフデータの課題に対処し、クライアントが異種の特徴と構造を持つグラフを保有する状況を想定する。
• 異種の特徴空間に跨る特徴ベースの表現を統合する従来のFGL手法の限界を克服し、一般化性能の向上を図る。
• 異なるグラフドメイン（例：ソーシャルネットワークや分子）に共通する普遍的な構造的性質を活用し、生データを共有せずにモデルの一般化性能を向上させる。
• 構造と特徴の学習を分離することで、特徴の異種性から構造的知識を分離し、効果的な知識共有を可能にするフレームワークを設計する。
• グローバルな構造エンコーダーを共有しながらも、特徴エンコーダーを各クライアントごとにパーソナライズすることで、クロスデータセットおよびクロスドメインの非IID設定においてより優れた性能を達成する。

提案手法

• 構造埋め込みを、ノード特徴とは独立して学習されるグラフトポロジーの明示的表現として定義する。
• GNNを2つのコンponentに分離する：ノード属性のための特徉エンコーダーと、トポロジカルパターンのための構造エンコーダー。これにより、最適化を別々に行える。
• フェデレーテッドアグリゲーションの過程で、訓練済みの構造エンコーダーをクライアント間でグローバルに共有するが、各クライアントは自らの特徴エンコーダーをローカルに訓練する。
• メッセージパッシングの過程で、ノード特徴表現に構造埋め込みを連結することで、ノード表現に構造的文脈を強化する。
• 局所的およびグローバルな構造的パターンを捉えるために、次数ベースの構造符号化（DSE）とランダムウォークベースの構造符号化（RWSE）を組み合わせた二重符号化戦略を採用する。
• パラメータのフェデレーテッドアベレージングを構造エンコーダーのパラメータに限定することで、特徴エンコーダーのパーソナライズを維持し、特徴の不整合を回避する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドグラフ学習において、明示的な構造的知識がクライアント間で効果的に抽出・共有可能であり、非IIDデータの課題緩和に寄与するか？
• RQ2 構造と特徴の学習を分離することで、クロスドメインおよびクロスデータセットの非IIDグラフ設定におけるモデルの一般化性能が向上するか？
• RQ3 特徴エンコーダーをパーソナライズしたまま構造エンコーダーのみを共有するアプローチが、全モデル共有や特徴のみの共有と比較して性能に与える影響は？
• RQ4 異種のグラフ設定における全体的な性能に、異なる種類の構造埋め込み（例：DSE 対 RWSE）がそれぞれどれほど寄与しているか？
• RQ5 非IID状況下で、クライアント数の増加やローカル学習エポック数の変動に伴い、FedStarのスケーラビリティはどのように変化するか？

主な発見

• FedStarは、BIO-CHEM(2)で74.54% ± 2.50のF1スコア、BIO-CHEM-SN(3)で72.15% ± 2.43、BIO-SN-CV(3)で69.49% ± 1.81を達成し、すべてのクロスドメイン非IID設定でFedAvgやGCFLを上回る性能を発揮した。
• アブレーションスタディの結果、DSEとRWSEを組み合わせることで最良の性能が得られ、ドメイン不変の構造的パターンを捉える上でDSEの寄与度がRWSEよりも顕著に高かった。
• 構造エンコーダーのみを共有するアプローチが最も高い性能を発揮したが、全パラメータを共有するか、特徴エンコーダーのみを共有する場合、特徴の異種性により性能が低下した。
• FedStarは、FedAvg や GCFL よりもローカルエポック数の増加により大きな恩恵を受けており、CHEM非IID設定で4ローカルエポックで80.58% ± 2.48のF1スコアを達成した。
• クライアント数が7から84に増加しても、FedStarは優れた性能を維持し、大規模なFGLシステムにおける堅牢性とスケーラビリティを示した。
• 本フレームワークは、小規模および大規模な非IID設定において、ローカル学習および既存の最先端手法を上回り、多様なグラフドメインにわたり一貫した性能向上を示した。