[論文レビュー] Towards Representation Identical Privacy-Preserving Graph Neural Network via Split Learning

Chuanqiang Shan, Huiyun Jiao+1 more|arXiv (Cornell University)|Jul 13, 2021

Privacy-Preserving Technologies in Data参考文献 30被引用数 8

ひとこと要約

本稿では、水平分割されたグラフデータ上でプライバシーを守るノード分類を可能にする、split learningを用いたプライバシー保護型グラフニューラルネットワークフレームワークSAPGNNを提案する。ローカルクライアントと準誠実サーバーの間でGNN層を分割し、安全なプーリング機構を採用することで、SAPGNNは中央集権的学習と同一のノード埋め込みを達成し、状態の最良の性能を再現または上回る。特に近似I.I.D.ラベル分布下で顕著な性能を示す。

ABSTRACT

In recent years, the fast rise in number of studies on graph neural network (GNN) has put it from the theories research to reality application stage. Despite the encouraging performance achieved by GNN, less attention has been paid to the privacy-preserving training and inference over distributed graph data in the related literature. Due to the particularity of graph structure, it is challenging to extend the existing private learning framework to GNN. Motivated by the idea of split learning, we propose a extbf{S}erver extbf{A}ided extbf{P}rivacy-preserving extbf{GNN} (SAPGNN) for the node level task on horizontally partitioned cross-silo scenario. It offers a natural extension of centralized GNN to isolated graph with max/min pooling aggregation, while guaranteeing that all the private data involved in computation still stays at local data holders. To further enhancing the data privacy, a secure pooling aggregation mechanism is proposed. Theoretical and experimental results show that the proposed model achieves the same accuracy as the one learned over the combined data.

研究の動機と目的

• 分散環境における水平分割されたグラフデータに対するプライバシー保護型GNNフレームワークの不足を解消すること。
• プライベートなノードおよびエッジデータがローカルクライアントに留まるよう、協調的なGNN学習を可能にすること。
• 最終的なノード表現が中央集権的グラフから学習されたものと同一になるように保証することにより、モデルの忠実性を維持すること。
• 安全なプーリング集約機構を用いて、準誠実なサーバーからのローカル埋め込みの漏洩を防ぎ、プライバシーを強化すること。
• 特に非I.I.D.状況下を含め、ラベル分布の偏りの程度に応じた性能評価を行うこと。

提案手法

• データ保有者に配置されたローカルモデルと、準誠実サーバーに配置されたグローバルモデルに各GNN層を分割することで、データプライバシーを維持する。
• 最大値/最小値プーリング集約を用いて、個々のローカル埋め込みを露呈せずにグローバル埋め込みを計算可能にする。
• 生のローカル埋め込みがサーバーに見えないよう設計された安全なプーリング機構を採用し、準誠実な攻撃者に対する耐性を高める。
• データ保有者間で重複するノードおよびエッジを保持することで、サブグラフ間でのメッセージスティンを可能にする。
• 生の特徴量やラベルではなく、暗号化済みまたは集約済み表現のみを用いてグローバルモデルを学習する。
• 各層における集約関数と更新関数の整合性を保つことで、最終的なノード表現が中央集権的GNNと同一になるように保証する。

実験結果

リサーチクエスチョン

• RQ1 水平分割されたグラフデータに対して、中央集権的GNNと同一のノード表現を保つプライバシー保護型GNNフレームワークを設計可能か？
• RQ2 スプリットラーニングをグラフニューラルネットワークに適応させることで、データプライバシーを確保しつつモデルの精度を維持できるか？
• RQ3 ラベル分布の偏り（I.I.D. 対 非I.I.D.）が分散型GNN学習の性能に与える影響は何か？
• RQ4 安全なプーリング機構により、準誠実な脅威モデル下でサーバーが感覚的なローカル埋め込みを推測できないようにできるか？
• RQ5 異なるデータ分割およびラベル分布設定下で、SAPGNNはPPGNNやSPといった既存手法と比較して、精度および耐性面で優れているか？

主な発見

• SAPGNNは、統合された中央集権的グラフから学習された埋め込みと同一のノード埋め込みを達成し、モデルの忠実性を保証する。
• CoraおよびCiteseerでは、SAPGNNはPPGNNと同等またはそれを上回る性能を示し、特に近似I.I.D.ラベル分布下（q ≥ 25%）で顕著な優位性を示す。
• ラベル分布が極端に偏っている場合（q = 0%）、PPGNNがSAPGNNを上回る性能を示すため、SAPGNNの利点はラベルがバランスの取れた状況で顕著に現れる。
• SAPGNNはSPベースラインを一貫して上回り、データ保有者の数が増えるほど性能差が拡大する。
• 安全なプーリング機構により、準誠実なサーバーからのローカル埋め込みの推測が効果的に防止され、モデル精度に悪影響を及げることなくプライバシーが強化される。
• クラス間エッジを削除すると、CiteseerではCoraやPubmedと比較して性能低下が顕著に現れるため、構造的断片化に対する感受性はデータセットに依存する。