[論文レビュー] Adapting Membership Inference Attacks to GNN for Graph Classification: Approaches and Implications

Bang Ye Wu, Xiangwen Yang+2 more|arXiv (Cornell University)|Oct 17, 2021

Advanced Graph Neural Networks被引用数 6

ひとこと要約

本稿では、グラフニューラルネットワーク（GNN）におけるグラフレベル分類を標的とした最初のメンバーインファレンス攻撃（MIAs）を提示する。2種類の攻撃タイプ—トレーニングベースとスレッショルドベース—を導入し、モデルの信頼度スコアを用いて、あるグラフ全体が訓練セットに含まれていたかどうかを特定する。これらの攻撃は、大多数の実世界データセットでF1スコア0.7以上を達成しており、GNNは非グラフモデルに比べてMIAsに対してより脆弱であることが判明した。特に過学習が顕著な場合に顕著である。

ABSTRACT

Graph Neural Networks (GNNs) are widely adopted to analyse non-Euclidean data, such as chemical networks, brain networks, and social networks, modelling complex relationships and interdependency between objects. Recently, Membership Inference Attack (MIA) against GNNs raises severe privacy concerns, where training data can be leaked from trained GNN models. However, prior studies focus on inferring the membership of only the components in a graph, e.g., an individual node or edge. How to infer the membership of an entire graph record is yet to be explored. In this paper, we take the first step in MIA against GNNs for graph-level classification. Our objective is to infer whether a graph sample has been used for training a GNN model. We present and implement two types of attacks, i.e., training-based attacks and threshold-based attacks from different adversarial capabilities. We perform comprehensive experiments to evaluate our attacks in seven real-world datasets using five representative GNN models. Both our attacks are shown effective and can achieve high performance, i.e., reaching over 0.7 attack F1 scores in most cases. Furthermore, we analyse the implications behind the MIA against GNNs. Our findings confirm that GNNs can be even more vulnerable to MIA than the models with non-graph structures. And unlike the node-level classifier, MIAs on graph-level classification tasks are more co-related with the overfitting level of GNNs rather than the statistic property of their training graphs.

研究の動機と目的

• グラフレベルのGNNにおけるメンバーインファレンス攻撃（MIA）に関するギャップを埋める。既存の研究はノードやエッジを標的にしていた。
• 全グラフが訓練サンプルとして使用されたかどうか、つまり、あるグラフ全体が訓練セットに含まれていたかを特定できるかを調査する。
• GNNのグラフ分類タスクにおけるMIAの有効性と、その性能に影響を与える要因を評価する。
• 異なるGNNアーキテクチャおよびデータセット間でのMIAの転送性を検討する。
• モデルの過学習およびグラフレベルの特性がMIAの成功に与える影響を理解する。

提案手法

• 2種類の攻撃変種を提案：トレーニングベース攻撃は、シャロウモデルからの信頼度スコアを用いてバイナリ分類器を学習し、スレッショルドベース攻撃は信頼度スコアに固定スレッショルドを適用する。
• 攻撃分類器またはスレッショルド機構の入力として、ターゲットGNNモデルの信頼度スコア（後方確率）を用いる。
• 攻撃の訓練データを生成するために、ターゲットデータ分布を模倣した合成データセット上でシャロウモデルを訓練する。
• 転移学習とクロスモデル評価を適用し、異なるGNNアーキテクチャおよびデータセット間での攻撃の一般化能力をテストする。
• Spearmanの順位相関を用いて、データセット／グラフの特性と攻撃性能の関係を分析する。
• 5つの代表的なGNNモデル（例：GCN、GIN、GraphSAGE）を用いて、7つの実世界データセット上で攻撃を評価する。

実験結果

リサーチクエスチョン

• RQ1 グラフレベルのGNN分類に向けたメンバーインファレンス攻撃は、全グラフが訓練セットに含まれていたかどうかを効果的に特定できるか？
• RQ2 モデルの過学習およびグラフレベルのデータ特性（例：平均次数、クラス数）は、GNNにおけるMIAの成功にどのように影響するか？
• RQ3 GNNにおけるMIAは、異なるGNNアーキテクチャおよびデータセット間でどの程度転送可能か？
• RQ4 グラフレベルのMIAとノードレベルのMIAの性能特性は、影響要因の観点からどのように異なるか？
• RQ5 GNNにおける高精度なメンバーインファレンス攻撃を可能にする主な脆弱要因は何か？

主な発見

• 提案されたトレーニングベースおよびスレッショルドベースのMIAは、7つの実世界データセットの大多数でF1スコア0.7を超える高い攻撃効果を示した。
• 過学習度（訓練・テスト精度の差）は、グラフレベルGNNにおけるMIA成功の最も強い予測要因であり、過学習度が高いほど著しく攻撃性能が向上する。
• 平均ノード次数が高いデータセットで学習されたGNNは、MIAに対してより脆弱である。これは、メンバーインファレンス予測の信頼度が高いためと推測される。
• グラフレベルのMIAは、グラフ構造の特性よりもモデルの過学習度と強く相関しており、ノードレベルのMIAとは対照的である。ノードレベルのMIAは局所的なグラフトポロジに依存する傾向がある。
• ターゲットGNNアーキテクチャが不明であっても攻撃は効果を示し、異なるGNNタイプ間で強い転送性を示している。
• 非グラフDNNに比べて、グラフレベルGNNにおけるMIAはより効果的である。これは、GNNが本質的にメンバー漏洩に対してより感受性である可能性を示唆している。