[論文レビュー] Privacy Attacks on Network Embeddings

Michael Ellers, Michael Cochez+3 more|arXiv (Cornell University)|Dec 23, 2019

Privacy-Preserving Technologies in Data参考文献 36被引用数 7

ひとこと要約

本稿では、ソーシャルネットワークからユーザーを削除し、その埋め込みベクトルを削除しても、削除された接続先のユーザーに関する個人情報を漏洩させる可能性があるかどうかを調査している。埋め込み内の距離変化を測定し、合成されたノード削除に対して分類器を訓練することで、著者らは削除されたノードの隣人を高い正確性で回復できることを示した。これは、GDPRの削除権に基づく真正のプライバシー保護を実現するには、再訓練が必須であることを示唆している。

ABSTRACT

Data ownership and data protection are increasingly important topics with ethical and legal implications, e.g., with the right to erasure established in the European General Data Protection Regulation (GDPR). In this light, we investigate network embeddings, i.e., the representation of network nodes as low-dimensional vectors. We consider a typical social network scenario with nodes representing users and edges relationships between them. We assume that a network embedding of the nodes has been trained. After that, a user demands the removal of his data, requiring the full deletion of the corresponding network information, in particular the corresponding node and incident edges. In that setting, we analyze whether after the removal of the node from the network and the deletion of the vector representation of the respective node in the embedding significant information about the link structure of the removed node is still encoded in the embedding vectors of the remaining nodes. This would require a (potentially computationally expensive) retraining of the embedding. For that purpose, we deploy an attack that leverages information from the remaining network and embedding to recover information about the neighbors of the removed node. The attack is based on (i) measuring distance changes in network embeddings and (ii) a machine learning classifier that is trained on networks that are constructed by removing additional nodes. Our experiments demonstrate that substantial information about the edges of a removed node/user can be retrieved across many different datasets. This implies that to fully protect the privacy of users, node deletion requires complete retraining - or at least a significant modification - of original network embeddings. Our results suggest that deleting the corresponding vector representation from network embeddings alone is not sufficient from a privacy perspective.

研究の動機と目的

• ノードとベクトルの削除後も、ネットワーク埋め込みがユーザーの削除された接続先に関する個人情報を保持しているかどうかを調査すること。
• GDPRの削除権に基づくプライバシー保護の観点から、ノードとその埋め込みベクトルの削除が、そのユーザーの接続情報について完全に消去するのに十分かどうかを評価すること。
• 残存するネットワークと埋め込み情報のみを用いて、削除されたノードの近傍構造を回復するプライバシー攻撃の開発と評価を行うこと。
• 残存する埋め込み情報から削除されたユーザーの関係性を再構築する可能性と正確性を特定すること。
• ユーザー削除後に埋め込みを再訓練または変更する必要性を強調すること。

提案手法

• 標準的なアルゴリズム（例：node2vec、HOPE）を用いて、元のネットワーク上でネットワーク埋め込みを学習すること。
• 対象ノードを削除し、残存ネットワーク上で再び埋め込みを再計算して新しい埋め込み表現を取得すること。
• 元の埋め込みと変更後の埋め込み間のペアワイズ距離差を計算し、ノード削除によって引き起こされた構造的変化を検出すること。
• 合成されたノード削除に対して教師あり機械学習分類器を訓練し、削除されたノードの隣人を特定する予測を行うこと。
• 埋め込み空間内の距離変化に基づいて、実際の削除済みノードの近傍を分類器を用いて推定すること。
• 複数の実世界データセットを用いて、AUC や precision@10 などの指標で攻撃のパフォーマンスを評価すること。

実験結果

リサーチクエスチョン

• RQ1 削除されたユーザーのノードの近傍構造は、ネットワークに残存するノードの埋め込みベクトルから再構築可能か？
• RQ2 ノードとその埋め込みベクトルの削除は、そのユーザーの接続に関する個人情報を完全に消去するのに十分か？
• RQ3 残存するネットワークと埋め込みデータのみを用いて、削除されたノードのリンク構造をどの程度正確に回復できるか？
• RQ4 高次数ノード（例：高頻度ノード）など、どのような種類のノードがネットワーク埋め込みにおけるこのようなプライバシー漏洩に対して特に脆弱か？
• RQ5 異なる埋め込みアルゴリズム（例：node2vec 対 HOPE）において、攻撃のパフォーマンスに差異があるか？

主な発見

• Facebookネットワークにおいて node2vec 埋め込みを用いた攻撃では、AUC が 0.72、precision@10 が 0.41 を達成した。
• HOPE 埋め込みを用いた場合、AUC は 0.91、precision@10 は 0.60 に達し、回復の正確性が顕著に向上した。
• 高次数ノードは特にプライバシー回復に対して感受性が高く、情報漏洩のリスクがより高いことが判明した。
• ベクトルの削除後でさえも、削除されたノードのエッジに関する顕著な情報が、残存ノードの埋め込みに符号化されたまま残存している。
• ノードとベクトルの単純な削除ではプライバシー保護が不十分であり、完全な再訓練または埋め込みの大幅な変更が必要であると示唆された。
• 攻撃は複数のデータセットおよび埋め込みアルゴリズムで有効に機能し、現在のネットワーク埋め込み手法における一般的な脆弱性を示している。