[논문 리뷰] Information Obfuscation of Graph Neural Networks

Peiyuan Liao, Han Zhao외 5명|arXiv (Cornell University)|2020. 09. 28.

Adversarial Robustness in Machine Learning참고 문헌 45인용 수 8

한 줄 요약

이 논문은 총변동량과 워샤프스키 거리의 적대적 훈련을 사용하여 민감한 속성을 가림으로써 그래프 신경망에 대한 추론 공격을 방어하는 최소최대 프레임워크인 그래프 적대적 네트워크(GAL)를 제안한다. 이 방법은 성능 저하를 최소화하면서 강력한 프라이버시 보호를 달성한다. Movielens-1M에서 성별 속성 추론 AUC를 10% 감소시키는 동안 작업 정확도 손실은 오직 3%에 그친다.

ABSTRACT

While the advent of Graph Neural Networks (GNNs) has greatly improved node and graph representation learning in many applications, the neighborhood aggregation scheme exposes additional vulnerabilities to adversaries seeking to extract node-level information about sensitive attributes. In this paper, we study the problem of protecting sensitive attributes by information obfuscation when learning with graph structured data. We propose a framework to locally filter out pre-determined sensitive attributes via adversarial training with the total variation and the Wasserstein distance. Our method creates a strong defense against inference attacks, while only suffering small loss in task performance. Theoretically, we analyze the effectiveness of our framework against a worst-case adversary, and characterize an inherent trade-off between maximizing predictive accuracy and minimizing information leakage. Experiments across multiple datasets from recommender systems, knowledge graphs and quantum chemistry demonstrate that the proposed approach provides a robust defense across various graph structures and tasks, while producing competitive GNN encoders for downstream tasks.

연구 동기 및 목표

• GNN의 임베딩에서 민감한 노드 속성을 추론 공격으로부터 노출되는 취약성을 해결한다.
• 예측 유틸리티를 유지하면서 민감한 속성에 대한 정보 泄露를 최소화하는 방어 메커니즘을 개발한다.
• 가장 악성인 적대자 시뮬레이션을 통해 강건성을 향상시키기 위해 최소최대 훈련 목표를 설정한다.
• 그래프 구조 데이터에서 예측 정확도와 정보 은폐 사이의 본질적 트레이드오프를 정량화한다.
• 지식 그래프, 추천 시스템, 양자 화학 데이터셋을 포함한 다양한 그래프 유형에서의 강건성을 입증한다.

제안 방법

• GNN 인코더와 시뮬레이션된 최악의 상황 적대자 간의 최소최대 게임을 설정하여, 속성 추론에 강건한 표현을 훈련한다.
• 총변동량과 워샤프스키 거리의 이중 형식을 정규화 요소로 사용하여 민감한 속성에 대한 정보 泄露를 방지한다.
• GNN 인코더를 최소화하도록 훈련하여 작업 손실을 줄이고, 동시에 민감한 속성 추론에 대한 적대자의 오차를 최대화한다.
• 훈련 중에 n-호프 이웃 공격을 효율적으로 시뮬레이션하기 위해 몬테카를로 샘플링 전략을 도입하여 다단계 추론 공격에 대한 확장 가능한 방어를 가능하게 한다.
• 정보 필터링 강도를 제어하는 하이퍼파rameter λ를 통해 정확도와 은폐 사이의 트레이드오프를 최적화한다.
• GNN 인코더를 종단 간(end-to-end)으로 훈련하여, 후행 작업에 대해 정확하고 속성 추론에 저항력이 있는 인코더를 구현한다.

실험 결과

연구 질문

• RQ1 최악의 상황 적대자와 함께 하는 적대적 훈련이 GNN 임베딩에서 민감한 속성에 대한 정보 泄露를 효과적으로 줄일 수 있는가?
• RQ2 이 프레임워크 하에서 GNN의 예측 정확도와 정보 은폐 사이의 이론적 트레이드오프는 무엇인가?
• RQ3 이중적 또는 n-호프 추론 공격에서, 적대자가 먼 이웃의 임베딩에 접근할 경우 이 방법은 어떻게 작동하는가?
• RQ4 강력한 프라이버시 보장을 달성하면서도, 후행 작업에 대한 유틸리티를 어느 정도 유지하는가?
• RQ5 복잡한 구조와 다양한 데이터 유형을 가진 대규모 그래프에 대해 이 방법은 어떻게 확장되는가?

주요 결과

• 제안된 GAL 프레임워크는 Movielens-1M 데이터셋에서 성별 속성 추론 공격자의 AUC를 10% 감소시키는 동안 후행 작업 성능 손실은 오직 3%에 그친다.
• 모든 최악의 상황 적대자에 대해 추론 오차의 증명 가능한 하한을 제공하여, 이론적으로 속성 추론에 대한 강건성을 확보한다.
• 하이퍼파rameter λ가 증가할수록 노드 수준 및 이웃 수준의 적대자 모두 성능 저하가 심해지며, 특히 낮은 λ 값에서 이웃 수준의 은폐가 더 효과적이다.
• 프레임워크는 n-호프 공격에 대해서도 효과적이며, 공격 성공률의 성능 저하가 호프 수가 증가함에 따라 커지지만, 이웃 검색에서의 확률적 샘플링으로 인해 변동성이 발생할 수 있다.
• 정확도와 은폐 사이의 트레이드오프는 이론적으로 유도된 linkeage의 입력 특성에서 목표 작업과 민감한 속성 간 상관관계에 비례한다.
• 추천 시스템, 지식 그래프, 양자 화학 분야의 6개 벤치마크 데이터셋에서의 실험 결과, GAL은 경쟁력 있는 GNN 인코더를 생성하면서도 강력한 프라이버시 보장을 제공한다.