[논문 리뷰] SoK: Differential Privacy on Graph-Structured Data

Tamara T. Mueller, Dmitrii Usynin외 3명|arXiv (Cornell University)|2022. 03. 17.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 논문은 그래프 구조 데이터에서의 차별적 프라이버시(DP)에 대한 체계적인 조사로, 51개의 연구를 DP 공식화 방식—간선 수준, 노드 수준, 그래프 수준 DP—기반으로 분류하고, 그래프 분석 및 그래프 신경망(GNNs)에의 응용을 분석한다. 그래프의 구조적 상호의존성으로 인해 DP를 적용하는 데 발생하는 핵심 과제를 규명하고, 사적 합성 그래프 생성 및 해석 가능한 사적 GNNs 분야의 향후 연구 방향을 제시한다.

ABSTRACT

In this work, we study the applications of differential privacy (DP) in the context of graph-structured data. We discuss the formulations of DP applicable to the publication of graphs and their associated statistics as well as machine learning on graph-based data, including graph neural networks (GNNs). The formulation of DP in the context of graph-structured data is difficult, as individual data points are interconnected (often non-linearly or sparsely). This connectivity complicates the computation of individual privacy loss in differentially private learning. The problem is exacerbated by an absence of a single, well-established formulation of DP in graph settings. This issue extends to the domain of GNNs, rendering private machine learning on graph-structured data a challenging task. A lack of prior systematisation work motivated us to study graph-based learning from a privacy perspective. In this work, we systematise different formulations of DP on graphs, discuss challenges and promising applications, including the GNN domain. We compare and separate works into graph analysis tasks and graph learning tasks with GNNs. Finally, we conclude our work with a discussion of open questions and potential directions for further research in this area.

연구 동기 및 목표

• 그래프 구조 데이터에 적용된 차별적 프라이버시(DP)에 관한 기존 연구를 체계화하고 분류하는 것.
• 데이터 포인트 간 복잡하고 비선형적이며 희소한 상호연결성으로 인해 그래프 환경에서 DP의 통합된 공식화가 부족한 문제를 해결하는 것.
• 특히 관계 구조로 인해 프라이버시 누출이 증폭되는 그래프 신경망(GNNs)에서 DP를 적용하는 데 발생하는 과제를 분석하는 것.
• 특히 사적 합성 그래프 생성 및 차별적 프라이버시 GNNs의 해석 가능성 분야에서의 열린 문제를 규명하고 논의하는 것.
• 구체적인 그래프 학습 작업에 적합한 DP 공식화(간선 수준, 노드 수준, 또는 그래프 수준)를 명확히 하여 연구자와 실무자에게 가이드라인을 제공하는 것.

제안 방법

• 그래프 구조 데이터 및 GNNs에 차별적 프라이버시를 적용한 51개의 연구에 대한 체계적 문헌 조사.
• 보호 정보의 정밀도 기반 DP 공식화 분류: 간선 수준, 노드 수준, 그래프 수준 DP.
• 그래프 학습에 적응된 DP-SGD와 같은 DP 메커니즘 분석, 특히 기울기 클리핑 및 노이즈 주입 포함.
• 특히 간선 수준 및 노드 수준 DP 하에서 그래프 생성 및 GNN 학습의 프라이버시-유용성 트레이드오프 평가.
• GNNExplainer와 같은 설명 가능성 도구를 활용해, 차별적 프라이버시 GNNs가 비공개 모델과 동일한 구조적 주의 패턴을 유지하는지 평가.
• 예를 들어 링크 예측, 클러스터링 등의 그래프 분석 작업과 GNN를 활용한 노드 분류 등의 그래프 학습 작업 간 DP 적용 비교.

실험 결과

연구 질문

• RQ1 그래프 구조 데이터에 적용 가능한 주요 DP 공식화는 무엇이며, 프라이버시 보장 수준과 유용성 측면에서 어떻게 상이한가?
• RQ2 그래프 데이터의 상호연결성은 개인의 프라이버시 손실 계산 및 DP 메커니즘의 효과성에 어떻게 영향을 미치는가?
• RQ3 특히 모델 수렴, 성능 오버헤드, 추론 공격에 대한 취약성 측면에서 그래프 신경망에 DP를 적용하는 데 발생하는 핵심 과제는 무엇인가?
• RQ4 차별적 프라이버시가 그래프 기반 기계학습 모델의 해석 가능성과 공정성에 어떤 영향을 미치는가?
• RQ5 DP 하에서 사적 합성 그래프 생성 분야의 현재 한계와 열린 연구 방향은 무엇인가?

주요 결과

• 현재 연구에서 가장 널리 채택된 공식화는 간선 수준 DP이며, 특히 링크 예측 및 그래프 분류와 같은 작업에서 주로 사용된다.
• 노드 수준 DP는 덜 일반적이지만 더 강력한 프라이버시 보장을 제공하지만, 일반적으로 더 가파른 프라이버시-유용성 트레이드오프를 초래한다.
• 그래프 수준 DP는 높은 민감도와 의미 있는 그래프 수준 프라이버시 손실 정의의 어려움으로 인해 거의 사용되지 않는다.
• GNN에 DP-SGD를 적용할 경우, 샘플별 기울기 계산과 노이즈 주입으로 인해 수렴 속도가 느려지고 학습 시간이 증가한다.
• GNNExplainer를 통해 확인한 결과, DP-SGD로 학습된 사적 GNNs는 비공개 모델과 유사한 주의 패턴을 유지함을 확인하여, 구조적 해석 가능성의 유지가 가능함을 시사한다.
• 사적 합성 그래프 생성은 여전히 개발이 부족한 분야로, 복잡한 데이터셋에 대한 적용 가능성은 제한적이며, 노드 수준 DP와 같은 더 강력한 공식화에 대한 지원도 부족하다.