[論文レビュー] Secure Deep Graph Generation with Link Differential Privacy

Carl Yang, Haonan Wang+3 more|arXiv (Cornell University)|May 1, 2020

Privacy-Preserving Technologies in Data参考文献 34被引用数 8

ひとこと要約

本稿では、訓練中の勾配更新にノイズを注入することでリンク微分プライバシーを強制するが、構造に配慮した識別子によりグローバルなグラフ構造を保持する、深層生成モデル DPGGan を提案する。実験の結果、プライバシー予算を変化させても、最小限のユーティリティ損失で強力なプライバシー保護を達成しており、非プライベートベースラインより構造的類似性およびリンクプライバシーの両面で優れている。

ABSTRACT

Many data mining and analytical tasks rely on the abstraction of networks (graphs) to summarize relational structures among individuals (nodes). Since relational data are often sensitive, we aim to seek effective approaches to generate utility-preserved yet privacy-protected structured data. In this paper, we leverage the differential privacy (DP) framework to formulate and enforce rigorous privacy constraints on deep graph generation models, with a focus on edge-DP to guarantee individual link privacy. In particular, we enforce edge-DP by injecting proper noise to the gradients of a link reconstruction-based graph generation model, while ensuring data utility by improving structure learning with structure-oriented graph discrimination. Extensive experiments on two real-world network datasets show that our proposed DPGGAN model is able to generate graphs with effectively preserved global structure and rigorously protected individual link privacy.

研究の動機と目的

• 特に感受性の高い関係データに対して、きめ細かいプライバシー保証が欠如しているグラフ生成モデルの課題を解決すること。
• 下流の分析用途に適したユーティリティを保証するため、合成グラフにおけるグローバルグラフ構造を維持すること。
• 構造の忠実度を損なうことなくエッジレベルの微分プライバシーを強制する深層生成モデルを開発すること。
• 微分プライバシーを適用したグラフ生成が、データユーティリティの劣化を最小限に抑えることで実現可能であることを示すこと。

提案手法

• リンク再構築に基づくグラフ生成モデルの勾配に、適切にスケーリングされたノイズを注入することでエッジ微分プライバシーを強制する。
• グローバル構造学習と忠実度の維持を図るために、構造指向の識別子を備えた GAN フレームワークを用いる。
• 元のグラフの接続性およびトポロジカル特徴を保持するために、リンク再構築損失を適用する。
• ノードの次数分布を用いたアライメントにより、元のグラフと生成グラフの間で公平な比較を可能にする。
• プライバシー予算（ε）を変化させながらモデルを訓練し、プライバシーとユーティリティのトレードオフを評価する。
• 次数分布、モチーフ数、GINI、三角形数などのグラフ統計量を、構造的類似性の指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 エッジレベルでの微分プライバシーを適用しながらも、グローバル構造的性質を保持できるように、深層グラフ生成モデルを設計できるか？
• RQ2 プライバシー予算（ε）と構造的ユーティリティのトレードオフは、グラフ生成においてどのように現れるか？
• RQ3 微分プライバシー制約下でも、GANベースのアーキテクチャが効果的にグローバル構造を学習できるか？
• RQ4 提案手法は、元のグラフにおける個々のリンクの推論をどの程度防止できるか？
• RQ5 DPGGan は、非プライベートおよび他のプライベートベースラインと比較して、グラフ統計量および下流タスクのパフォーマンスをどの程度維持できるか？

主な発見

• DPGGan は、LCC、TC、CPL といった複数の指標において、非プライベートベースライン（NetGAN、GraphRNN）を常に上回り、グローバル構造的性質を良好に保持している。
• 同じプライバシー予算下でも、DPGVae よりも高い構造的類似性を達成しており、GANベースの設計の優位性が示された。
• DBLP では元のネットワークと比較して生成グラフにおけるリンク予測精度が 13.0%–16.9% 減少し、IMDB では 27.3%–28.6% 減少しており、強力なリンクプライバシー保護が裏付けられた。
• 生成グラフを用いたグラフ分類タスクにおいて GIN を用いた精度が競争力を持って維持されており、下流タスクへの実用性が示された。
• プライバシー予算 ε が増加するにつれて構造的類似性が向上し、プライバシーとユーティリティの明確なトレードオフが確認された。
• 次数分布およびモチーフ数のコサイン類似度が高く維持されており、局所的およびグローバルなトポロジカルパターンの効果的な保持が示された。