[논문 리뷰] Privacy Attacks on Network Embeddings

Michael Ellers, Michael Cochez외 3명|arXiv (Cornell University)|2019. 12. 23.

Privacy-Preserving Technologies in Data참고 문헌 36인용 수 7

한 줄 요약

이 논문은 사용자를 소셜 네트워크에서 삭제하고 해당 사용자의 임bedding 벡터를 삭제한 후에도 그 사용자의 연결된 사용자에 대한 비공개 정보가 泄露되는지 여부를 조사한다. 임베딩 간의 거리 변화를 측정하고 합성된 노드 제거에 대해 분류기를 훈련시켜, 삭제된 노드의 이웃을 높은 정확도로 복원할 수 있음을 입증한다. 이는 GDPR의 삭제 권리에 따라 진정한 프라이버시를 확보하기 위해 전체 재학습이 필요하다는 것을 시사한다.

ABSTRACT

Data ownership and data protection are increasingly important topics with ethical and legal implications, e.g., with the right to erasure established in the European General Data Protection Regulation (GDPR). In this light, we investigate network embeddings, i.e., the representation of network nodes as low-dimensional vectors. We consider a typical social network scenario with nodes representing users and edges relationships between them. We assume that a network embedding of the nodes has been trained. After that, a user demands the removal of his data, requiring the full deletion of the corresponding network information, in particular the corresponding node and incident edges. In that setting, we analyze whether after the removal of the node from the network and the deletion of the vector representation of the respective node in the embedding significant information about the link structure of the removed node is still encoded in the embedding vectors of the remaining nodes. This would require a (potentially computationally expensive) retraining of the embedding. For that purpose, we deploy an attack that leverages information from the remaining network and embedding to recover information about the neighbors of the removed node. The attack is based on (i) measuring distance changes in network embeddings and (ii) a machine learning classifier that is trained on networks that are constructed by removing additional nodes. Our experiments demonstrate that substantial information about the edges of a removed node/user can be retrieved across many different datasets. This implies that to fully protect the privacy of users, node deletion requires complete retraining - or at least a significant modification - of original network embeddings. Our results suggest that deleting the corresponding vector representation from network embeddings alone is not sufficient from a privacy perspective.

연구 동기 및 목표

• 노드와 벡터를 제거한 후에도 네트워크 임베딩이 사용자의 삭제된 연결에 대한 비공개 정보를 유지하는지 여부를 조사하기 위해.
• GDPR의 삭제 권리에 따라 노드와 그 임베딩 벡터를 삭제하는 것이 사용자의 연결에 대한 비공개 정보를 완전히 삭제하는 데 충분한지 평가하기 위해.
• 남아 있는 네트워크와 임베딩만을 사용하여 제거된 노드의 이웃 구조를 복원하는 프라이버시 공격을 개발하고 평가하기 위해.
• 남아 있는 임베딩 정보에서 삭제된 사용자 간의 관계를 재구성하는 것의 가능성과 정확도를 결정하기 위해.
• 사용자 삭제 후 임베딩을 재학습하거나 수정함으로써 완전한 프라이버시를 확보하기 위한 필요성을 강조하기 위해.

제안 방법

• 표준 알고리즘(예: node2vec, HOPE)을 사용하여 원본 네트워크에서 네트워크 임베딩을 훈련한다.
• 대상 노드를 제거하고 남은 네트워크에서 다시 임베딩을 계산하여 새로운 임베딩 표현을 확보한다.
• 원래 임베딩과 수정된 임베딩 간의 쌍별 거리 차이를 계산하여 노드 제거로 인한 구조적 변화를 탐지한다.
• 합성된 노드 제거에 대해 지도 학습 분류기를 훈련시어 삭제된 노드의 이웃이었을 노드를 예측한다.
• 임베딩 공간에서의 거리 변화를 바탕으로 실제 삭제된 노드의 이웃을 분류기를 사용해 추론한다.
• 다양한 실세계 데이터셋에서 AUC 및 precision@10 등의 지표를 사용해 공격 성능을 평가한다.

실험 결과

연구 질문

• RQ1 남아 있는 네트워크 내 노드의 임베딩 벡터들로부터 삭제된 사용자 노드의 이웃을 재구성할 수 있는가?
• RQ2 노드와 그 임베딩 벡터를 삭제하는 것이 사용자의 연결에 대한 비공개 정보를 완전히 삭제하는 데 충분한가?
• RQ3 남아 있는 네트워크와 임베딩 데이터만을 사용하여 제거된 노드의 링크 구조를 얼마나 정확하게 복원할 수 있는가?
• RQ4 특정 유형의 노드(예: 고도수 노드)는 네트워크 임베딩에서 이러한 프라이버시 泄露에 가장 취약한가?
• RQ5 다른 임베딩 알고리즘(예: node2vec 대비 HOPE) 간에 공격 성능에 차이가 나는가?

주요 결과

• node2vec 임베딩을 사용한 Facebook 네트워크에서 공격는 AUC 0.72와 precision@10 0.41을 기록했다.
• HOPE 임베딩을 사용한 경우, 공격는 AUC 0.91과 precision@10 0.60을 기록하여 상당히 높은 복원 정확도를 보였다.
• 고도수 노드는 프라이버시 복원에 특히 취약한 것으로 밝혀져 정보 泄露 측면에서 더 높은 위험을 유발한다.
• 벡터 삭제 후에도 삭제된 노드의 간선에 대한 상당한 정보가 남아 있는 노드의 임베딩에 암묵적으로 포함되어 있다.
• 단순히 노드와 벡터를 제거하는 것만으로는 프라이버시 보호에 충분하지 않으며, 전체 재학습 또는 임베딩의 상당한 수정이 필요하다는 것을 시사한다.
• 공격는 여러 데이터셋과 임베딩 알고리즘에서 효과적이며, 현재 네트워크 임베딩 기법에 일반적인 취약점이 있음을 시사한다.