[논문 리뷰] GNNDelete: A General Strategy for Unlearning in Graph Neural Networks

Jiali Cheng, George Dasoulas외 3명|arXiv (Cornell University)|2023. 02. 26.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

GNNDelete는 그래프 신경망에서 노드, 간선, 노드 특징을 재학습 없이 효율적으로 삭제할 수 있는 모델 무관성의 계층별 삭제 연산자를 제안한다. 이는 삭제된 간선 일관성과 이웃 영향을 학습 가능한 삭제 가중치 행렬을 통해 강제로 구현하며, 간선 삭제 작업에서 기존 방법 대비 최대 38.8% 높은 AUC를 달성하고, 전체 재학습 대비 12.3배 빠른 삭제 시간을 확보한다.

ABSTRACT

Graph unlearning, which involves deleting graph elements such as nodes, node labels, and relationships from a trained graph neural network (GNN) model, is crucial for real-world applications where data elements may become irrelevant, inaccurate, or privacy-sensitive. However, existing methods for graph unlearning either deteriorate model weights shared across all nodes or fail to effectively delete edges due to their strong dependence on local graph neighborhoods. To address these limitations, we introduce GNNDelete, a novel model-agnostic layer-wise operator that optimizes two critical properties, namely, Deleted Edge Consistency and Neighborhood Influence, for graph unlearning. Deleted Edge Consistency ensures that the influence of deleted elements is removed from both model weights and neighboring representations, while Neighborhood Influence guarantees that the remaining model knowledge is preserved after deletion. GNNDelete updates representations to delete nodes and edges from the model while retaining the rest of the learned knowledge. We conduct experiments on seven real-world graphs, showing that GNNDelete outperforms existing approaches by up to 38.8% (AUC) on edge, node, and node feature deletion tasks, and 32.2% on distinguishing deleted edges from non-deleted ones. Additionally, GNNDelete is efficient, taking 12.3x less time and 9.3x less space than retraining GNN from scratch on WordNet18.

연구 동기 및 목표

• 재학습 없이 노드, 간선, 노드 특징을 삭제할 수 있는 효과적이고 효율적인 그래프 신경망 무학습 방법의 부족을 해결하기 위해.
• 삭제된 그래프 요소가 더 이상 모델 예측에 영향을 주지 않도록 보장하여 정확한 무학습 원칙을 만족하기 위해.
• 남은 데이터에 대한 모델의 예측 성능를 유지하기 위해 이웃 표현에 대한 의도치 않은 변경을 최소화하기 위해.
• 모든 GNN 아키텍처에 적용 가능한 일반 목적의 모델 무관성 무학습 전략을 개발하기 위해.
• 특히 큰 그래프에서 전체 재학습 대비 계산 비용과 메모리 사용량을 줄이기 위해.

제안 방법

• 삭제된 요소에 의해 영향을 받는 레이어에만 적용되는 계층별 무학습 연산자인 $W_D$를 학습하는 삭제 가중치 행렬을 도입하여 노드 표현을 업데이트한다.
• 삭제된 간선 일관성을 강제하기 위해, 모델이 삭제된 간선에 대해 예측할 때 AUC ≈ 0.5가 되도록 하여 잔여 영향이 없음을 보장한다.
• 이웃 영향을 최소화하여 삭제된 요소의 국소 이웃에 속한 노드의 표현에 대한 변화를 최소화한다.
• 일관성과 영향 목표를 모두 포함하는 복합 손실 함수를 최적화하여 무학습 정확도와 모델 무결성의 균형을 이룬다.
• 삭제된 요소에 영향을 받는 레이어에만 삭제 연산자를 적용함으로써 전체 재학습 없이도 효율적인 추론을 가능하게 한다.
• 노드, 노드 레이블, 간선의 삭제를 지원하며, GCN 및 GAT와 같은 다양한 GNN 아키텍처와 호환된다.

실험 결과

연구 질문

• RQ1 노드, 간선, 특징을 효과적으로 삭제할 수 있는 일반 목적의 무학습 방법을 GNN에 설계할 수 있는가?
• RQ2 남은 데이터에 대한 모델 성능이 떨어지지 않게 하면서 어떻게 무학습을 달성할 수 있는가?
• RQ3 전체 재학습 대비 시간과 메모리 비용을 크게 줄일 수 있는가?
• RQ4 이웃 노드 표현에 대한 변경을 최소화함으로써 그래프의 인과적 구조를 유지할 수 있는가?
• RQ5 다양한 실생활 그래프와 다양한 종류의 삭제(간선, 노드, 특징)에 대해 이 방법은 어떻게 성능을 내는가?

주요 결과

• GNNDelete는 WordNet18에서 전체 삭제 조건에서 0.976 AUROC를 기록하며, 간선 삭제 작업에서 기존 최고 성능 기준 대비 최대 38.8% 높은 AUROC를 달성한다.
• 삭제된 간선과 아닌 간선을 구분하는 데서 GNNDelete는 기존 방법 대비 성능을 32.2% 향상시켰다.
• WordNet18 데이터셋에서 전체 재학습 대비 무학습 시간을 12.3배 단축시키고, 메모리 사용량을 9.3배 줄였다.
• GNNDelete는 대부분의 벤치마크에서 노드 수준 및 그래프 수준 작업에서 높은 성능를 유지하며, AUROC 점수가 항상 0.93 이상을 기록했다.
• 전체 재학습이 금기 기준임에도 불구하고, 간선 삭제 작업에서 재학습 대비 무학습 정확도에서 뛰어난 성능를 보였다.
• 제거 실험 결과, 삭제된 간선 일관성과 이웃 영향 둘 다가 높은 성능를 유지하는 데 필수적이며, 둘 중 하나를 제거할 경우 AUROC가 10% 이상 감소함을 확인했다.