[論文レビュー] A Random Matrix Approach to Differential Privacy and Structure Preserved Social Network Graph Publishing

Faraz Ahmed, Rong Jin+1 more|arXiv (Cornell University)|Jul 1, 2013

Privacy-Preserving Technologies in Data参考文献 42被引用数 19

ひとこと要約

本稿では、隣接行列をノイズを加える前に低次元空間に射影することにより、スペクトル構造を保持する、ランダム行列に基づく差分プライバシー準拠のソーシャルネットワークグラフ公開手法を提案する。この手法は、ランダムな射影とノイズ注入により強い差分プライバシー保証を達成し、高い実用性を実現する—ノイズ分散が高く（σ=1）ても、上位の影響力を持つノードの80%を回復可能で、クラスタリング品質（NMI ≥ 0.74）を維持する。

ABSTRACT

Online social networks are being increasingly used for analyzing various societal phenomena such as epidemiology, information dissemination, marketing and sentiment flow. Popular analysis techniques such as clustering and influential node analysis, require the computation of eigenvectors of the real graph's adjacency matrix. Recent de-anonymization attacks on Netflix and AOL datasets show that an open access to such graphs pose privacy threats. Among the various privacy preserving models, Differential privacy provides the strongest privacy guarantees. In this paper we propose a privacy preserving mechanism for publishing social network graph data, which satisfies differential privacy guarantees by utilizing a combination of theory of random matrix and that of differential privacy. The key idea is to project each row of an adjacency matrix to a low dimensional space using the random projection approach and then perturb the projected matrix with random noise. We show that as compared to existing approaches for differential private approximation of eigenvectors, our approach is computationally efficient, preserves the utility and satisfies differential privacy. We evaluate our approach on social network graphs of Facebook, Live Journal and Pokec. The results show that even for high values of noise variance sigma=1 the clustering quality given by normalized mutual information gain is as low as 0.74. For influential node discovery, the propose approach is able to correctly recover 80 of the most influential nodes. We also compare our results with an approach presented in [43], which directly perturbs the eigenvector of the original data by a Laplacian noise. The results show that this approach requires a large random perturbation in order to preserve the differential privacy, which leads to a poor estimation of eigenvectors for large social networks.

研究の動機と目的

• 固有ベクトルに基づく解析を想定した場合の、ソーシャルネットワークグラフ公開におけるプライバシーと実用性の両立問題を解決すること。
• 完全な密行列を保存・公開しないで、隣接行列のスペクトル構造を保持する差分プライバシー機構の開発。
• 従来の手法が全行列や固有ベクトルを直接摂動するのと比較し、計算およびストレージコストを低減すること。
• 下流タスク（クラスタリングや影響力ノード検出など）における高い精度を維持しながら、強力なプライバシー保証を確保すること。
• 実世界のグラフ（Facebook、LiveJournal、Pokec）を対象とし、現実的なノイズレベル下での手法の評価。

提案手法

• 元の隣接行列 A をランダム射影行列 P を用いて低次元空間に射影することで、次元削減と計算コストの低減を実現。
• 射影された行列にガウスノイズを加えることで、(ε,δ)-差分プライバシーを満たし、ランダム行列の濃縮性質を活用。
• 全隣接行列ではなく、摂動された低ランク行列を公開することで、ストレージおよび通信コストを最小限に抑える。
• 下流解析には、摂動された行列の固有ベクトルを用い、元のグラフの上位-k スペクトル成分を保持。
• ランダム行列理論を用いて、ノイズ注入下でも元の行列の固有値スペクトルが良好に近似されることを保証。
• 全 n×n 隣接行列やその固有ベクトルの直接摂動を回避することで、誤差伝搬を低減し、実用性を向上。

実験結果

リサーチクエスチョン

• RQ1 差分プライバシー制約下でも、ランダム行列射影アプローチがソーシャルネットワークグラフのスペクトル構造を保持できるか？
• RQ2 影響力ノード検出の実用性という観点から、本手法は直接固有ベクトルを摂動する手法（例：LNPP）と比較してどのように差をつけるか？
• RQ3 高いノイズ分散下でも、正規化相互情報量（NMI）で測定したクラスタリング品質は、どの程度維持されるか？
• RQ4 全行列や固有ベクトルを摂動する従来手法と比較して、本手法はプライバシーと実用性のトレードオフをどのように改善するか？
• RQ5 サイズやトポロジーが異なる多様な実世界のソーシャルネットワーク（Facebook、LiveJournal、Pokec）において、本手法はどの程度の耐障害性を示すか？

主な発見

• ノイズ分散が高く（σ=1）ても、クラスタリングタスクにおいて正規化相互情報量（NMI）が少なくとも0.74に達し、コミュニティ構造の強力な保持を示す。
• 影響力ノード検出において、評価されたすべてのデータセットで上位ランクの影響力ノードの80%を効果的に回復可能であり、ベースライン手法を著しく上回る。
• PCCスコア推定における平均二乗誤差（MSE）を、ベースライン手法LNPPと比較して最大100倍まで低減し、固有ベクトル近似の優れた精度を示す。
• σ=1の状況下でも高い実用性を維持し、Facebook（k=2）では n×MSE が 2.6×10⁻²⁶ にまで低く抑えられ、k が大きい場合も 0.02 未満に保たれるなど、歪みが最小限に抑えられる。
• すべてのケースでLNPPベースラインを上回る性能を示し、同じ条件下ではLNPPは上位影響力ノードの1%未満しか保持できなかった。
• 効率的なスケーリングを実現し、全行列摂動に伴う O(n²) のストレージおよび計算コストを回避する低次元射影上で処理を実行する。