[논문 리뷰] Privacy-Preserving Representation Learning on Graphs: A Mutual Information Perspective

Binghui Wang, Jiayi Guo외 3명|arXiv (Cornell University)|2021. 07. 03.

Advanced Graph Neural Networks참고 문헌 36인용 수 6

한 줄 요약

이 논문은 주된 작업(노드 분류 또는 링크 예측)과 개인정보 보호를 동시에 최적화하기 위해 상호정보 기반 프레임워크를 제안한다. 이는 노드 표현과 민감한 속성(라벨 또는 링크) 간의 상호정보를 최소화하여 개인정보 유출을 방지한다. 변동형 상한을 사용하고 엔드 투 엔드 학습을 통해, 이 방법은 개인정보 유추 작업에서 거의 랜덤 추측 성능을 달성하며, 실제 그래프에서 효과적인 개인정보-유용성 트레이드오프를 보여준다.

ABSTRACT

Learning with graphs has attracted significant attention recently. Existing representation learning methods on graphs have achieved state-of-the-art performance on various graph-related tasks such as node classification, link prediction, etc. However, we observe that these methods could leak serious private information. For instance, one can accurately infer the links (or node identity) in a graph from a node classifier (or link predictor) trained on the learnt node representations by existing methods. To address the issue, we propose a privacy-preserving representation learning framework on graphs from the \emph{mutual information} perspective. Specifically, our framework includes a primary learning task and a privacy protection task, and we consider node classification and link prediction as the two tasks of interest. Our goal is to learn node representations such that they can be used to achieve high performance for the primary learning task, while obtaining performance for the privacy protection task close to random guessing. We formally formulate our goal via mutual information objectives. However, it is intractable to compute mutual information in practice. Then, we derive tractable variational bounds for the mutual information terms, where each bound can be parameterized via a neural network. Next, we train these parameterized neural networks to approximate the true mutual information and learn privacy-preserving node representations. We finally evaluate our framework on various graph datasets.

연구 동기 및 목표

• 그래프 표현 학습에서 노드 표현이 노드 식별자나 연결 정보와 같은 민감한 정보를 들키는 개인정보 泄露 문제를 해결하기 위해.
• 학습된 노드 표현과 민감한 속성(노드 라벨 또는 링크) 간의 상호정보를 최소화하는 방식으로 개인정보 보호를 수식화하기 위해.
• 다양한 미분 가능한 상호정보 추정 기법을 사용하여 주된 학습 성능과 개인정보 보호를 동시에 최적화하는 통합 프레임워크를 개발하기 위해.
• 실제 그래프 데이터셋에서 프레임워크를 평가하고, 실용적인 유용성-개인정보 보호 트레이드오프를 입증하기 위해.

제안 방법

• 노드 표현과 노드 라벨 간의 상호정보(노드 개인정보 보호를 위해) 및 표현과 링크 상태 간의 상호정보(링크 개인정보 보호를 위해)를 각각 목표로 하는 두 가지 상호정보 목표를 수식화한다.
• 두 상호정보 항목에 대해 계산이 가능한 변동형 하한을 유도하여, 신경망 파라미터화를 통해 미분 가능한 최적화를 가능하게 한다.
• 각각의 상호정보 상한을 추정하기 위해 별도의 신경망을 사용하며, 이는 노드 임베딩 함수 및 주된 작업 헤드(분류기 또는 예측기)와 함께 공동으로 훈련된다.
• 주된 작업 손실과 개인정보 보호 손실의 가중 조합을 최적화하며, 유용성과 개인정보 보호 간의 트레이드오프를 제어하는 하이퍼파라미터 λ를 사용한다.
• 계산이 어려운 상호정보 항목을 효율적이고 엔드 투 엔드 방식으로 근사하기 위해 상호정보 신경망 추정(MINE) 원리를 적용한다.

실험 결과

연구 질문

• RQ1 상호정보 최소화가 그래프 표현 학습에서 학습된 노드 표현으로부터 노드 식별자를 추론할 위험을 효과적으로 줄일 수 있는가?
• RQ2 통합 프레임워크는 주된 작업(예: 노드 분류, 링크 예측)의 유용성을 유지하면서 개인정보 보호를 어느 정도 유지할 수 있는가?
• RQ3 유용성과 개인정보 보호 간의 트레이드오프 하이퍼파라미터 λ에 대한 성능 민감도는 어떠한가?
• RQ4 주된 작업 성능이 크게 떨어지지 않으면서도, 개인정보 유추 작업에서 거의 랜덤 추측 성능을 달성할 수 있는가?

주요 결과

• 노드 개인정보 보호를 위해 노드 분류 작업에서 정확도가 약 50%로 거의 랜덤 추측 수준에 도달하여, 정체성 유추에 매우 강한 저항성을 보였다.
• 링크 개인정보 보호를 위해 링크 예측 AUC가 약 0.5 수준으로 낮아졌으며, 동시에 높은 주된 작업 유용성을 유지했다.
• λ 값의 다양한 범위에서 유용성-개인정보 보호 트레이드오프가 안정적이었으며, 중간 수준의 λ 설정 시 성능 저하가 최소 1~4% 이내로 유지되었다.
• 기준 모델 대비 개인정보 보호 성능이 뛰어나면서도 주된 작업에서 경쟁적인 성능을 유지하여, 실용적인 유용성-개인정보 보호 균형을 입증했다.
• 다양한 실제 그래프에서의 실험 결과는 프레임워크가 노드 표현에서 민감한 속성으로의 정보 泄露를 효과적으로 제한함을 확인했다.