[논문 리뷰] Certified Graph Unlearning

Eli Chien, Chao Pan외 1명|arXiv (Cornell University)|2022. 06. 18.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 그래프 신경망(GNN)를 위한 최초의 인증 가능한 그래프 언러닝 프레임워크를 소개한다. 이는 모델 성능을 유지하면서도 노드, 엣지 또는 특징을 증명 가능하게 제거할 수 있도록 한다. 분석적 언러닝을 일반화된 페이지랭크(GPR)와 간단한 그래프 컨볼루션(SGC)을 통해 구현하여, Cora에서 20%의 노드를 언러닝할 경우 정확도 손실이 근처 0.1%에 불과하고 재학습 대비 4배 빠른 성능을 달성한다. 비그래프 인식 방법보다 정확도에서 12% 높은 성능을 보이며 유사한 복잡도를 유지한다.

ABSTRACT

Graph-structured data is ubiquitous in practice and often processed using graph neural networks (GNNs). With the adoption of recent laws ensuring the ``right to be forgotten'', the problem of graph data removal has become of significant importance. To address the problem, we introduce the first known framework for \emph{certified graph unlearning} of GNNs. In contrast to standard machine unlearning, new analytical and heuristic unlearning challenges arise when dealing with complex graph data. First, three different types of unlearning requests need to be considered, including node feature, edge and node unlearning. Second, to establish provable performance guarantees, one needs to address challenges associated with feature mixing during propagation. The underlying analysis is illustrated on the example of simple graph convolutions (SGC) and their generalized PageRank (GPR) extensions, thereby laying the theoretical foundation for certified unlearning of GNNs. Our empirical studies on six benchmark datasets demonstrate excellent performance-complexity trade-offs when compared to complete retraining methods and approaches that do not leverage graph information. For example, when unlearning $20\%$ of the nodes on the Cora dataset, our approach suffers only a $0.1\%$ loss in test accuracy while offering a $4$-fold speed-up compared to complete retraining. Our scheme also outperforms unlearning methods that do not leverage graph information with a $12\%$ increase in test accuracy for a comparable time complexity.

연구 동기 및 목표

• 개인정보 보호법(예: '잊혀질 권리')에 따라 증가하는 그래프 구조 데이터에서의 데이터 제거 요구에 대응하기 위해.
• 메시지 전파 과정에서의 특징 혼합 등 그래프 데이터에서의 언러닝 고유의 과제를 체계화하고 해결하기 위해.
• 완전한 재학습 없이도 언러닝 후 모델 성능을 보장하는 인증 가능한 언러닝 프레임워크를 개발하기 위해.
• 표준 머신러닝을 넘어 GNN에서 노드, 엣지 및 특징 수준의 제거를 포함한 언러닝을 확장하기 위해.
• SGC와 GPR 모델을 기반으로 GNN에서의 인증 가능한 언러닝에 대한 이론적 기반을 구축하기 위해.

제안 방법

• 완전한 재학습을 피하기 위해 데이터 제거 후 GNN 가중치를 분석적으로 수정하는 인증 가능한 언러닝 프레임워크를 제안한다.
• 메시지 전파를 모델링하고 닫힌 형태의 언러닝 업데이트를 가능하게 하기 위해 일반화된 페이지랭크(GPR) 레이어를 기반으로 한다.
• GPR와 SGC의 스펙트럼 성질을 활용하여 노드, 엣지 및 특징 제거에 대한 분석적 언러닝 규칙을 유도한다.
• 편향 기반 분석을 적용하여 언러닝이 모델 성능을 증명 가능한 범위 내에서 유지함을 보장한다.
• 두 단계 접근법을 사용한다: 첫째, 그래프 구조를 기반으로 언러닝 업데이트를 계산하고, 둘째, 이를 모델 가중치에 적용하여 데이터 제거를 반영한다.
• SGC와 GPR 모델을 사용하여 6개의 벤치마크 데이터셋에서 방법을 검증하여 효율성과 정확도 유지 능력을 입증한다.

실험 결과

연구 질문

• RQ1 특정 노드, 엣지 또는 특징을 학습 데이터에서 제거한 후에도 GNN 모델이 정확도를 유지할 수 있음을 체계적으로 인증할 수 있는가?
• RQ2 그래프 구조에서의 복잡한 특징 전파를 고려할 때, 완전한 재학습 없이 GNN에서 언러닝을 어떻게 달성할 수 있는가?
• RQ3 특히 SGC와 GPR 모델에 대해, 증명 가능한 언러닝 업데이트를 도출하기 위해 어떤 분석 기법을 사용할 수 있는가?
• RQ4 그래프 구조 인식 언러닝은 비그래프 인식 방법에 비해 정확도와 효율성 측면에서 어떻게 비교되는가?
• RQ5 다양한 언러닝 시나리오에서 언러닝 정확도, 계산 비용, 모델 성능 간의 상호 교환 관계는 어떠한가?

주요 결과

• Cora 데이터셋에서 20%의 노드를 언러닝할 경우 테스트 정확도가 0.1%만 감소하여 성능 저하가 극히 미미함을 입증한다.
• 제안된 방법은 완전한 재학습 대비 4배 빠른 성능을 달성하여 효율성 향상을 크게 개선한다.
• 비슷한 시간 복잡도를 유지하면서도 비그래프 인식 언러닝 방법보다 테스트 정확도에서 12% 높은 성능을 기록한다.
• 프레임워크는 노드, 엣지 및 특징 제거의 세 가지 다른 언러닝 유형을 모두 성공적으로 처리하며, 증명 가능한 보장을 제공한다.
• 6개의 벤치마크 데이터셋에서의 실험 결과는 강력한 성능-복잡도 트레이드오프를 확인하며 이론적 기반을 검증한다.
• GPR 및 SGC 모델의 사용은 닫힌 형태의 언러닝 업데이트를 가능하게 하여, 이 방법이 효율적이면서도 인증 가능하다는 점을 입증한다.