[論文レビュー] SoK: Differential Privacy on Graph-Structured Data

Tamara T. Mueller, Dmitrii Usynin+3 more|arXiv (Cornell University)|Mar 17, 2022

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本稿は、グラフ構造データにおける微分プライバシー（DP）の体系的サーベイを提供し、51件の研究をDPの定式化（エッジレベル、ノードレベル、グラフレベル）に基づいて分類し、グラフ解析およびグラフニューラルネットワーク（GNN）への応用を分析している。グラフにおける構造的依存性のため、DPを適用する際に生じる主な課題を特定し、プライベートな合成グラフ生成および解釈可能なプライベートGNNに関する今後の研究方向性を提案している。

ABSTRACT

In this work, we study the applications of differential privacy (DP) in the context of graph-structured data. We discuss the formulations of DP applicable to the publication of graphs and their associated statistics as well as machine learning on graph-based data, including graph neural networks (GNNs). The formulation of DP in the context of graph-structured data is difficult, as individual data points are interconnected (often non-linearly or sparsely). This connectivity complicates the computation of individual privacy loss in differentially private learning. The problem is exacerbated by an absence of a single, well-established formulation of DP in graph settings. This issue extends to the domain of GNNs, rendering private machine learning on graph-structured data a challenging task. A lack of prior systematisation work motivated us to study graph-based learning from a privacy perspective. In this work, we systematise different formulations of DP on graphs, discuss challenges and promising applications, including the GNN domain. We compare and separate works into graph analysis tasks and graph learning tasks with GNNs. Finally, we conclude our work with a discussion of open questions and potential directions for further research in this area.

研究の動機と目的

• グラフ構造データに適用された微分プライバシー（DP）に関する既存研究を体系化し分類すること。
• データポイント間の複雑で非線形的かつスパースな相互接続性により、グラフ設定におけるDPの統一的定式化が不足しているという問題に対処すること。
• 関係構造に起因するプライバシー漏洩のリスクが高まるため、特にグラフニューラルネットワーク（GNN）におけるDPの適用に伴う課題を分析すること。
• 特にプライベートな合成グラフ生成および微分プライベートGNNの解釈可能性に関するオープンな問題を特定・議論すること。
• 特定のグラフ学習タスクに最も適したDP定式化（エッジレベル、ノードレベル、グラフレベル）を明確にすることで、研究者および実務家を支援すること。

提案手法

• グラフ構造データおよびGNNに微分プライバシーを適用した51件の研究を対象とした体系的文献レビュー。
• 保護対象情報の粒度に基づくDP定式化の分類：エッジレベル、ノードレベル、グラフレベルDP。
• DP-SGDをグラフ学習に適応したDPメカニズムの分析、特に勾配クリッピングおよびノイズ注入を含む。
• 特にエッジレベルおよびノードレベルDPにおける、グラフ生成およびGNN学習におけるプライバシーと性能のトレードオフの評価。
• GNNExplainerなどの解釈可能性ツールを用いて、微分プライベートGNNが非プライベートモデルと同等の構造的注目度を維持しているかを評価。
• リンク予測やクラスタリングなどのグラフ解析タスクと、GNNを用いたノード分類などのグラフ学習タスクにおけるDPの適用を比較。

実験結果

リサーチクエスチョン

• RQ1 グラフ構造データに適用可能な微分プライバシーの主な定式化は何か。また、プライバシーの保証と性能の観点で、それらはどのように異なるか。
• RQ2 グラフデータの相互接続性は、個々のプライバシー損失の計算およびDPメカニズムの有効性にどのように影響を与えるか。
• RQ3 特にモデル収束、性能のオーバーヘッド、および推論攻撃への感受性の観点から、GNNにDPを適用する際の主な課題は何か。
• RQ4 微分プライバシーは、グラフベースの機械学習モデルの解釈可能性および公平性にどのように影響を与えるか。
• RQ5 DP下でのプライベートな合成グラフ生成における現在の制限および未解決の研究方向性は何か。

主な発見

• エッジレベルDPは、リンク予測やグラフ分類などのタスクにおいて、現在の研究で最も広く採用されている定式化である。
• ノードレベルDPは一般的ではないが、より強いプライバシー保証を提供するが、しばしばより厳しいプライバシーと性能のトレードオフを伴う。
• グラフレベルDPは、高い感度と意味のあるグラフレベルのプライバシー損失を定義する難しさのため、ほとんど使用されていない。
• GNNにDP-SGDを適用すると、個々のサンプルの勾配計算とノイズ注入のため、収束が遅く、学習時間が長くなる。
• GNNExplainerによる評価で、DP-SGDで学習されたプライベートGNNは、非プライベートモデルと同様の注目パターンを維持していることが示された。これは、構造的解釈可能性が保持されていることを示唆している。
• プライベートな合成グラフ生成は依然として未発達であり、複雑なデータセットへの適用性が限定的で、ノードレベルDPなどのより強力な定式化のサポートが不足している。