[논문 리뷰] Heterogeneous Graph Neural Network for Privacy-Preserving Recommendation

Yuecen Wei, Xingcheng Fu외 5명|arXiv (Cornell University)|2022. 10. 02.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 추천 시스템에서 노드 특성과 그래프의 위상적 구조를 모두 보호하기 위해 차별적 비밀보장(privacy)을 활용하는 이질적 그래프 신경망 프레임워크인 HeteDP를 제안한다. 기울기 편향과 양면 최적화를 통한 비밀보장 예산 할당을 적용한 이중 단계 파이프라인을 통해 HeteDP는 강력한 모델 유틸리티를 유지하면서도 추론 공격에 효과적으로 저항한다. 이는 네 가지 공개 벤치마크에서 검증되었다.

ABSTRACT

Social networks are considered to be heterogeneous graph neural networks (HGNNs) with deep learning technological advances. HGNNs, compared to homogeneous data, absorb various aspects of information about individuals in the training stage. That means more information has been covered in the learning result, especially sensitive information. However, the privacy-preserving methods on homogeneous graphs only preserve the same type of node attributes or relationships, which cannot effectively work on heterogeneous graphs due to the complexity. To address this issue, we propose a novel heterogeneous graph neural network privacy-preserving method based on a differential privacy mechanism named HeteDP, which provides a double guarantee on graph features and topology. In particular, we first define a new attack scheme to reveal privacy leakage in the heterogeneous graphs. Specifically, we design a two-stage pipeline framework, which includes the privacy-preserving feature encoder and the heterogeneous link reconstructor with gradients perturbation based on differential privacy to tolerate data diversity and against the attack. To better control the noise and promote model performance, we utilize a bi-level optimization pattern to allocate a suitable privacy budget for the above two modules. Our experiments on four public benchmarks show that the HeteDP method is equipped to resist heterogeneous graph privacy leakage with admirable model generalization.

연구 동기 및 목표

• 이종 그래프에서의 개인정보 泄露 문제를 해결하기 위해, 기존의 동종 그래프 개인정보 보호 방법이 다중 유형의 노드와 복잡한 관계로 인해 실패하는 이유를 해결한다.
• 노드 특성과 그래프 위상 구조를 모두 추론 공격으로부터 보호하는 이중 개인정보 보장 메커니즘을 설계한다.
• 모델 성능과 개인정보 보호의 균형을 맞추기 위해 특성과 위상 구조의 편향 간 비밀보장 예산 할당을 최적화한다.
• 실세계 이질적 그래프 벤치마크에서 철저한 개인정보 보장 및 유틸리티 메트릭을 사용해 제안된 방법의 효과성을 평가한다.

제안 방법

• 차별적 비밀보장 기반의 기울기 편향을 적용한 이중 단계 파이프라인을 제안: 개인정보 보장 특성 인코더와 이질적 링크 재구성기.
• 이종 그래프에서의 개인정보 泄露를 드러내기 위해 새로운 공격 기법을 도입하여 다중 수준 보호의 필요성을 검증한다.
• 노드 특성과 위상적 구조 양쪽에 대해 가우시안 노이즈를 사용한 차별적 비밀보장(ε, δ)-차별적 비밀보장 보장.
• 특성 및 위상 모듈 간 비밀보장 예산 할당을 동적으로 최적화하기 위해 이중 최적화 프레임워크를 활용하여 성능 저하를 최소화한다.
• 다양한 노드 및 간선 유형을 가진 이종 정보 네트워크(HINs)에서 표현을 학습하기 위해 다중 관계 컨볼루션 레이어를 사용한다.
• t-SNE 시각화를 통해 편향 후 노드 유형 간 클러스터링 갭이 감소했음을 확인하여, 유틸리티 손실 없이 효과적인 특성 보호를 확인한다.

실험 결과

연구 질문

• RQ1 개인정보 보호 프레임워크는 이종 그래프에서 노드 특성과 위상적 구조를 효과적으로 보호할 수 있는가?
• RQ2 제안된 HeteDP 방법은 다중 유형의 노드 관계와 의미적 종속성을 악용하는 추론 공격에 어떻게 저항하는가?
• RQ3 모델 유틸리티를 극대화하면서도 강력한 개인정보 보장을 확보하기 위해 특성과 위상 편향 간 비밀보장 예산의 최적 할당은 어떻게 이루어지는가?
• RQ4 이중 최적화 전략은 균일한 예산 할당 대비 모델 성능을 어떻게 향상시키는가?
• RQ5 다양한 데이터 분포를 가진 이종 그래프 벤치마크 간에서 모델의 일반화 능력은 어느 정도인가?

주요 결과

• HeteDP는 노드 특성과 위상적 구조를 모두 편향함으로써 이종 그래프에서의 추론 공격에 효과적으로 저항하는 강력한 개인정보 보호 성능을 달성한다.
• 비밀보장 예산 할당을 위한 이중 최적화 전략은 균일한 할당 대비 더 나은 모델 성능을 보이며, 링크 예측 작업에서 ROC-AUC 점수 향상을 통해 이를 입증한다.
• ACM 데이터셋에서 ε = 1일 때 링크 예측 ROC-AUC 점수가 약 80%에 가까이 도달하여, 중간 수준의 비밀보장 예산에서도 높은 유틸리티를 확보함을 보여준다.
• 민감도 분석 결과, 다양한 데이터셋은 비밀보장 예산 ε에 대해 서로 다른 민감도를 보이며, ACM은 IMDB보다 더 민감하게 반응함을 확인하여 데이터셋에 맞는 튜닝의 필요성을 강조한다.
• t-SNE 시각화 결과, HeteDP는 편향 후 노드 유형 간 클러스터링 갭을 감소시켜 효과적인 특성 보호와 동시에 구조적 유틸리티 유지가 가능함을 확인한다.
• 네 가지 공개 벤치마크(ACM, IMDB, DBLP 및 다른 하나)에서의 종합적 실험을 통해 HeteDP의 강건성, 일반화 능력 및 개인정보 보호 추천 분야에서의 효과성을 입증한다.