[論文レビュー] Privacy-Preserving Representation Learning on Graphs: A Mutual Information Perspective

Binghui Wang, Jiayi Guo+3 more|arXiv (Cornell University)|Jul 3, 2021

Advanced Graph Neural Networks参考文献 36被引用数 6

ひとこと要約

本稿では、ノード表現と機微な属性（ラベルやリンク）の間の相互情報量を最小化することで、主なタスク（ノード分類またはリンク予測）とプライバシー保護を同時に最適化する、相互情報量に基づくプライバシー保護型グラフ表現学習のフレームワークを提案する。変分的下界を用いた相互情報量の近似とエンドツーエンド学習により、プライバシー推論タスクでほぼランダムな推測性能を達成する一方で、高い性能を維持するという、実世界のグラフにおいて有効なプライバシー・ユーティリティのトレードオフを示している。

ABSTRACT

Learning with graphs has attracted significant attention recently. Existing representation learning methods on graphs have achieved state-of-the-art performance on various graph-related tasks such as node classification, link prediction, etc. However, we observe that these methods could leak serious private information. For instance, one can accurately infer the links (or node identity) in a graph from a node classifier (or link predictor) trained on the learnt node representations by existing methods. To address the issue, we propose a privacy-preserving representation learning framework on graphs from the \emph{mutual information} perspective. Specifically, our framework includes a primary learning task and a privacy protection task, and we consider node classification and link prediction as the two tasks of interest. Our goal is to learn node representations such that they can be used to achieve high performance for the primary learning task, while obtaining performance for the privacy protection task close to random guessing. We formally formulate our goal via mutual information objectives. However, it is intractable to compute mutual information in practice. Then, we derive tractable variational bounds for the mutual information terms, where each bound can be parameterized via a neural network. Next, we train these parameterized neural networks to approximate the true mutual information and learn privacy-preserving node representations. We finally evaluate our framework on various graph datasets.

研究の動機と目的

• グラフ表現学習におけるプライバシー漏洩問題に取り組む。具体的には、ノード表現がノードの識別子やリンク関係といった機微な情報を露呈する可能性があることに対処する。
• 学習されたノード表現と機微な属性（ノードラベルまたはリンク）との間の相互情報量を最小化することで、プライバシー保護を形式化する。
• 微分可能な相互情報量推定を用いて、主な学習パフォーマンスとプライバシー保護の両方を同時に最適化する統合フレームワークを開発する。
• 実際のグラフデータセット上でフレームワークを評価し、実用的なユーティリティ・プライバシーのトレードオフを実証する。

提案手法

• ノード表現とノードラベル（ノードプライバシー）との間、および表現とリンク状態（リンクプライバシー）との間の2つの相互情報量目的関数を定式化する。
• 両方の相互情報量項に対して、計算可能な変分的下界を導出し、ニューラルネットワークのパrameterizationを用いた微分可能な最適化を可能にする。
• 相互情報量の下界を推定するための別個のニューラルネットワークを用い、これらをノード埋め込み関数および主なタスクヘッド（分類器または予測器）と同時に学習する。
• 主なタスク損失とプライバシー保護損失の重み付き組み合わせを最適化し、ハイパーパrameter λ を用いてユーティリティとプライバシーのトレードオフを制御する。
• スケーラブルでエンドツーエンドの方法として、不確実な相互情報量項を近似するために、相互情報量ニューラル推定（MINE）の原則を採用する。

実験結果

リサーチクエスチョン

• RQ1 グラフ表現学習において、ノード表現からノード識別子を推定するリスクを、相互情報量の最小化が効果的に低減できるか？
• RQ2 統合フレームワークは、ノード分類やリンク予測などの主なタスクのユーティリティをどれほど保ちながらプライバシーを保護できるか？
• RQ3 フレームワークのパフォーマンスは、ユーティリティとプライバシーのトレードオフを制御するハイパーパrameter λ に対してどれほど感度を示すか？
• RQ4 主なタスクのパフォーマンスを著しく低下させることなく、プライバシー推論タスクでほぼランダムな推測性能（精度 ≈ 50%）を達成できるか？

主な発見

• ノードプライバシー保護の際、ノード分類タスクでほぼランダムな推測性能（精度 ≈ 50%）を達成しており、識別子推定に対する強い耐性を示している。
• リンクプライバシー保護の観点では、リンク予測のAUCをほぼランダムな水準（≈ 0.5）まで低下させつつ、高い主なタスクのユーティリティを維持している。
• λ の値が広い範囲にわたり安定したユーティリティ・プライバシーのトレードオフを示しており、中程度のλ値設定時でもパフォーマンス低下が最小限（1–4%の精度低下）に抑えられている。
• プライバシー保護の面でベースラインを上回りつつ、主なタスクでも競争力のあるパフォーマンスを示しており、実用的なユーティリティとプライバシーのバランスを実現している。
• 複数の実世界グラフにおける実験結果から、フレームワークがノード表現から機微な属性への情報漏洩を効果的に制限していることが確認された。