[논문 리뷰] Quantifying the Knowledge in GNNs for Reliable Distillation into MLPs

Lirong Wu, Haitao Lin외 2명|arXiv (Cornell University)|2023. 06. 09.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 지식 유도 기반 신뢰성 정련(KRD)을 제안하며, 정보 엔트로피의 변형에 대한 내성성(invariance)을 통해 그래프 신경망(GNNs) 내 지식의 신뢰성을 정량화하여, 다층 퍼셉트론(MLPs)으로 정련하는 데에 신뢰할 수 있는 노드를 식별하고 우선순위를 정하는 방법을 제시한다. KRD는 일반적인 MLP보다 성능을 평균 12.62% 향상시키고, 7개 데이터셋과 3종류의 GNN 아키텍처에서 평균적으로 지도 GNN보다 2.16% 높은 성능을 기록한다.

ABSTRACT

To bridge the gaps between topology-aware Graph Neural Networks (GNNs) and inference-efficient Multi-Layer Perceptron (MLPs), GLNN proposes to distill knowledge from a well-trained teacher GNN into a student MLP. Despite their great progress, comparatively little work has been done to explore the reliability of different knowledge points (nodes) in GNNs, especially their roles played during distillation. In this paper, we first quantify the knowledge reliability in GNN by measuring the invariance of their information entropy to noise perturbations, from which we observe that different knowledge points (1) show different distillation speeds (temporally); (2) are differentially distributed in the graph (spatially). To achieve reliable distillation, we propose an effective approach, namely Knowledge-inspired Reliable Distillation (KRD), that models the probability of each node being an informative and reliable knowledge point, based on which we sample a set of additional reliable knowledge points as supervision for training student MLPs. Extensive experiments show that KRD improves over the vanilla MLPs by 12.62% and outperforms its corresponding teacher GNNs by 2.16% averaged over 7 datasets and 3 GNN architectures.

연구 동기 및 목표

• 지식 정련 과정에서 학생 MLP의 예측 신뢰도가 지도 GNN에 못 미치는 '과소신뢰 문제'를 해결한다.
• 기존 방법들이 모든 노드를 동일하게 취급함에 따라 정보성이나 내성성(robustness)을 평가하지 못하므로, GNN 내 개별 지식 포인트(노드)의 신뢰성을 조사한다.
• GNN에서 가장 신뢰할 수 있는 지식 포인트만을 식별하고 활용하여 정련 품질과 학생 모델 성능을 향상시키는 방법을 개발한다.
• 정점 인식 기반 GNN과 효율적이고 지연 친화적인 MLP 간의 성능 격차를, 신뢰할 수 있는 지도를 통한 지식 정련을 강화함으로써 해소한다.
• 시간적(정련 속도) 및 공간적(그래프 분포) 특성을 모두 고려한, 노드 신뢰성에 대한 원리적이고 정량화 가능한 메트릭을 제공한다.

제안 방법

• 노이즈 변형에 대한 정보 엔트로피의 안정성 측정을 통해, 노드의 지식 신뢰성도를 측정하는 변형 내성 기반 메트릭을 제안한다.
• 변형 내성 점수를 기반으로 각 노드가 정보성 있고 신뢰할 수 있는 지식 포인트일 확률을 모델링하여, 신뢰할 수 있는 노드를 확률적 샘플링이 가능하게 한다.
• GNN 출력에서 추가로 신뢰할 수 있는 지식 포인트를 선별하는 지식 기반 샘플링 전략을 도입하여, MLP 학습 중 자기지도(self-supervision)로 활용한다.
• 학생 MLP의 이중 손실 최적화 목표를 설계한다: 하나는 지도 GNN으로부터의 표준 정련을 위한 것이고, 다른 하나는 선택된 신뢰할 수 있는 지식 포인트를 활용한 자기지도를 위한 것이다.
• 학습 중 노드 신뢰성 확률 추정을 안정화하기 위해 모멘타움 기반 업데이트 메커니즘을 적용한다.
• GCN, GAT, GraphSAGE 등의 다양한 GNN 아키텍처와 Cora, Citeseer, PubMed, Photo, CS, Physics 등의 데이터셋에 걸쳐 프레임워크를 적용하여 일반화 능력을 검증한다.

Figure 1: Mean, standard deviation, and minimum/maximum classification accuracy of student MLPs trained with different combinations of (randomly sampled) GNN knowledge points on Cora .

실험 결과

연구 질문

• RQ1 GNN 내 개별 지식 포인트의 노이즈 변형에 대한 내성성에 따라 그 신뢰성은 어떻게 변동하는가?
• RQ2 신뢰할 수 없는 지식 포인트와 신뢰할 수 있는 지식 포인트를 사용했을 때, 정련된 MLP의 성능과 신뢰도에 어떤 영향을 미치는가?
• RQ3 변형 내성으로 노드의 신뢰성을 모델링하는 것이 GNN에서 MLP로의 정련 성능 향상과 일반화 능력 향상에 기여하는가?
• RQ4 신뢰할 수 있는 지식 포인트의 시간적(정련 속도) 및 공간적(그래프 분포) 특성이 정련 결과에 어떤 영향을 미치는가?
• RQ5 표준 정련에 비해, 신뢰할 수 있는 노드에서 유도된 추가 자기지도를 통합함으로써, 정련된 MLP의 과소신뢰 문제를 줄일 수 있는가?

주요 결과

• KRD는 7개 데이터셋과 3종류의 GNN 아키텍처에서 일반적인 MLP 대비 평균 12.62% 향상되고, 해당 지도 GNN 대비 평균 2.16% 향상된다.
• KRD로 학습된 MLP의 신뢰도 분포는 과소신뢰 문제로 인해 성능이 떨어지는 GLNN보다 유의미하게 높고 일관성 있다.
• 지식 기반 샘플링은 샘플링 없음, 무작위 샘플링, 엔트로피 기반 샘플링보다 우수하며, 제안된 신뢰성 메트릭을 사용할 때 최고의 성능을 기록한다.
• 제안된 변형 내성 메트릭은 신뢰할 수 있는 지식 포인트가 그래프 전역에 균일하게 분포하지 않으며, 시간에 따라 정련 속도가 다름을 드러낸다.
• 하이퍼파rameter 민감도 분석 결과, 손실 가중치 λ와 모멘타움 비율 η는 신중하게 튜닝되어야 하며, η = 0.9 또는 0.99일 때 최적의 성능을 낸다.
• 이 방법은 GCN, GAT, GraphSAGE 등의 다양한 GNN 아키텍처와 데이터셋에 대해 잘 일반화되며, 강건성과 확장성 모두 입증된다.

Figure 4: Percentage of highly reliable knowledge points on Cora to show the distillation speeds of different knowledge points.