[論文レビュー] Differentially Private Graph Classification with GNNs

Tamara T. Mueller, Johannes C. Paetzold+4 more|arXiv (Cornell University)|Feb 5, 2022

Privacy-Preserving Technologies in Data被引用数 9

ひとこと要約

本稿では、医療記録などの機微なグラフ構造データに対して形式的なプライバシー保証を提供するDP-SGDを用いた、差分プライバシー付きグラフニューラルネットワーク（GNN）訓練の手法を提案する。DP-GNNは高い汎用性を維持し、非プライベートモデルと類似した表現を学習するが、プライバシー予算εによって制御される測定可能なプライバシーと精度のトレードオフを示す。

ABSTRACT

Graph Neural Networks (GNNs) have established themselves as the state-of-the-art models for many machine learning applications such as the analysis of social networks, protein interactions and molecules. Several among these datasets contain privacy-sensitive data. Machine learning with differential privacy is a promising technique to allow deriving insight from sensitive data while offering formal guarantees of privacy protection. However, the differentially private training of GNNs has so far remained under-explored due to the challenges presented by the intrinsic structural connectivity of graphs. In this work, we introduce differential privacy for graph-level classification, one of the key applications of machine learning on graphs. Our method is applicable to deep learning on multi-graph datasets and relies on differentially private stochastic gradient descent (DP-SGD). We show results on a variety of synthetic and public datasets and evaluate the impact of different GNN architectures and training hyperparameters on model performance for differentially private graph classification. Finally, we apply explainability techniques to assess whether similar representations are learned in the private and non-private settings and establish robust baselines for future work in this area.

研究の動機と目的

• グラフ機械学習における形式的なプライバシー保護の欠如、特に機微な医療および生物学的データに対して解決を図ること。
• 差分プライバシー付き確率的勾配降下法（DP-SGD）をグラフニューラルネットワークに適応し、グラフレベル分類に適用すること。
• GNNアーキテクチャおよびハイパーパrameterの選択が、差分プライバシー下でのパフォーマンスに与える影響を評価すること。
• 解釈可能性技術を用いて、プライベートモデルが非プライベートモデルと同様に意味のある表現を学習しているかどうかを評価すること。
• 今後のプライバシー保護型グラフ学習分野の研究のための堅牢なベースラインを確立すること。

提案手法

• 勾配クリッピングおよびガウスノイズ注入を伴い、多様なグラフデータセット上でGNNをDP-SGDで訓練する。
• 入力データ（例：フィンガープrint画像、ECG信号）をグラフ構築法を用いてグラフ表現に変換する。
• 標準的なGNNアーキテクチャ（GCN、GraphSAGE、GAT）を用いてグラフレベル分類タスクを実行する。
• GNNExplainerを用いて、非プライベートモデルと差分プライバシー付きモデルの間でエッジレベルの重要度を比較する。
• 説明されたエッジにおける重複度を測定するためのインターセクションオーバーラップ（IoU）スコアを用いて表現の類似度を定量化する。
• 複数の合成データおよび実世界のデータセットを用い、さまざまなプライバシー予算εの下でモデルのパフォーマンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 DP-SGDは、モデルの汎用性を保ちつつ、グラフ分類のためのGNN訓練に効果的に適用可能か？
• RQ2 GNNアーキテクチャの選択が、差分プライバシー下でのパフォーマンスに与える影響はいかほどか？
• RQ3 差分プライバシー付きGNNは、非プライベートモデルとどれほど類似した表現を学習するか？
• RQ4 プライバシー予算εは、プライバシーとモデル精度のトレードオフにどのように影響するか？
• RQ5 差分プライバシーは、GNNの解釈可能性およびエッジレベルの注目度にどのような影響を及えるか？

主な発見

• DP-GNNはベンチマークおよび実世界のデータセットで高い汎用性を達成しており、εが小さくなるにつれて明確なプライバシーと精度のトレードオフが確認された。
• ε = 0.5で訓練されたモデルは、非プライベートベースラインと比較してわずかな精度の低下しか示さず、きびしいプライバシー制約下でも優れた性能を示した。
• GNNExplainerの結果、プライベートモデルと非プライベートモデルはエッジレベルの表現を極めて類似した形で学習しており、ε = 0.5でもIoUスコアは高い水準を維持した。
• より厳しいプライバシー（低いε）ではIoUスコアがわずかに低下し、過剰なノイズが表現学習を妨げる可能性があることが示された。
• 結果として、DP-GNNは強いインダクティブバイアスを維持しており、医療グラフ解析などのプライバシーに配慮した応用に適していることが明らかになった。
• 本研究は、特に医療および生物学的データの文脈において、差分プライバシー付きグラフ学習分野における今後の研究のための堅牢なベースラインを確立した。