[論文レビュー] GNNDelete: A General Strategy for Unlearning in Graph Neural Networks

Jiali Cheng, George Dasoulas+3 more|arXiv (Cornell University)|Feb 26, 2023

Advanced Graph Neural Networks被引用数 4

ひとこと要約

GNNDeleteは、再訓練を必要とせず、モデルに依存しない階層別アンラーニング演算子を提案する。この手法により、ノード、エッジ、ノード特徴量の削除を効率的に行い、モデル性能を維持できる。削除されたエッジの一貫性と近隣影響を、学習可能な削除重み行列を用いて強制することで、エッジ削除タスクにおいて最大38.8%高いAUCを達成し、再訓練から全削除に比べ12.3倍の高速化を実現した。

ABSTRACT

Graph unlearning, which involves deleting graph elements such as nodes, node labels, and relationships from a trained graph neural network (GNN) model, is crucial for real-world applications where data elements may become irrelevant, inaccurate, or privacy-sensitive. However, existing methods for graph unlearning either deteriorate model weights shared across all nodes or fail to effectively delete edges due to their strong dependence on local graph neighborhoods. To address these limitations, we introduce GNNDelete, a novel model-agnostic layer-wise operator that optimizes two critical properties, namely, Deleted Edge Consistency and Neighborhood Influence, for graph unlearning. Deleted Edge Consistency ensures that the influence of deleted elements is removed from both model weights and neighboring representations, while Neighborhood Influence guarantees that the remaining model knowledge is preserved after deletion. GNNDelete updates representations to delete nodes and edges from the model while retaining the rest of the learned knowledge. We conduct experiments on seven real-world graphs, showing that GNNDelete outperforms existing approaches by up to 38.8% (AUC) on edge, node, and node feature deletion tasks, and 32.2% on distinguishing deleted edges from non-deleted ones. Additionally, GNNDelete is efficient, taking 12.3x less time and 9.3x less space than retraining GNN from scratch on WordNet18.

研究の動機と目的

• 再訓練を必要とせず、ノード、エッジ、ノード特徴量を削除できる、効果的かつ効率的なGNN用アンラーニング手法の不足に対処すること。
• 削除されたグラフ要素がモデルの予測に影響しなくなることを保証し、正確なアンラーニングの原則を満たすこと。
• 残存データにおけるモデルの予測性能を維持するため、近隣表現への意図しない変更を最小限に抑えること。
• 任意のGNNアーキテクチャに適用可能な汎用的でモデルに依存しないアンラーニング戦略を開発すること。
• 特に大規模グラフにおいて、完全な再訓練に比べ計算コストとメモリ使用量を削減すること。

提案手法

• 削除後にノード表現を更新するための、学習可能な削除重み行列 $W_D$ を学習する階層別アンラーニング演算子を導入する。
• 削除されたエッジの一貫性を強制し、モデルの予測がランダム（AUC ≈ 0.5）になるようにすることで、残留影響がないことを保証する。
• 近隣影響を強制し、削除要因の周辺ノードの表現への変化を最小限に抑える。
• 両方の目的（一貫性と影響）を組み合わせた複合損失関数を最適化することで、アンラーニングの正確性とモデル忠実度のバランスを取る。
• 削除要因に影響を受ける層にのみ削除演算子を適用することで、完全な再訓練なしに効率的な推論を可能にする。
• ノード、ノードラベル、エッジの削除をサポートし、GCN や GAT などのさまざまなGNNアーキテクチャと互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 ノード、エッジ、特徴量の影響を効果的に削除できる汎用的アンラーニング手法をGNNに設計できるか？
• RQ2 残存データにおけるモデル性能の劣化を防ぎながら、どのようにアンラーニングを達成できるか？
• RQ3 再訓練に比べ、時間とメモリコストを著しく削減しながらも、高いアンラーニング正確性を維持できるか？
• RQ4 近隣ノード表現への変更を最小限に抑えることで、グラフの因果構造を保持できるか？
• RQ5 多様な実世界のグラフと、エッジ、ノード、特徴量の異なる種類の削除に対して、この手法はどのように性能を発揮するか？

主な発見

• エッジ削除タスクにおいて、GNNDeleteは次の最良ベースラインに比べ最大38.8%高いAUROCを達成し、WordNet18で全削除時にも0.976のAUROCを記録した。
• 削除されたエッジとそうでないエッジを区別するタスクにおいて、GNNDeleteは既存手法に比べ32.2%高い性能を発揮した。
• WordNet18データセットにおいて、GNNDeleteはアンラーニング時間とメモリ使用量を、完全な再訓練に比べそれぞれ12.3倍、9.3倍削減した。
• GNNDeleteはノードレベルおよびグラフレベルのタスクにおいても高い性能を維持し、大多数のベンチマークでAUROCスコアが常に0.93以上であった。
• 再訓練がゴールスタンダードであるにもかかわらず、エッジ削除タスクにおいてGNNDeleteはアンラーニング正確性で再訓練を上回った。
• アブレーションスタディにより、削除エッジ一貫性と近隣影響の両方が高性能を達成するために不可欠であることが確認され、いずれかを省いた場合、AUROCが10%以上低下した。