[논문 리뷰] Geometric Knowledge Distillation: Topology Compression for Graph Neural Networks

Chenxiao Yang, Qitian Wu외 1명|arXiv (Cornell University)|2022. 10. 24.

Neural Networks and Applications인용 수 5

한 줄 요약

이 논문은 기하 지식 희석(Geometric Knowledge Distillation, GKD)이라는 새로운 프레임워크를 제안한다. 이 프레임워크는 완전한 그래프에서 훈련된 교사 GNN의 위상 지식을 부분적 또는 희박한 그래프에서 작동하는 학생 GNN으로 전달하기 위해, 기저 그래프 다양체의 기하적 성질을 코딩하는 신경 열 커널(Neural Heat Kernels, NHKs)을 정렬함으로써 실현된다. 이 방법은 오라클 모델과 동등한 성능을 달성하며, 모델 압축, 자기 희석, 온라인 희석 등 다양한 설정에서 학생 모델과 교사 모델를 모두 초월한다.

ABSTRACT

We study a new paradigm of knowledge transfer that aims at encoding graph topological information into graph neural networks (GNNs) by distilling knowledge from a teacher GNN model trained on a complete graph to a student GNN model operating on a smaller or sparser graph. To this end, we revisit the connection between thermodynamics and the behavior of GNN, based on which we propose Neural Heat Kernel (NHK) to encapsulate the geometric property of the underlying manifold concerning the architecture of GNNs. A fundamental and principled solution is derived by aligning NHKs on teacher and student models, dubbed as Geometric Knowledge Distillation. We develop non- and parametric instantiations and demonstrate their efficacy in various experimental settings for knowledge distillation regarding different types of privileged topological information and teacher-student schemes.

연구 동기 및 목표

• 완전한 그래프에서 훈련된 GNN에서 부분적 또는 희박한 그래프에서 작동하는 GNN로 기하 지식을 전달하는 데 도전하는 것.
• 전체 위상 정보가 가용하지 않을 경우에도 그래프 위상을 기하 사전 지식으로서 표현할 수 있는 원칙적인 방법을 체계화하는 것.
• 단순한 특징이 아닌 잠재 기하 구조에 기반한 지식 전달을 가능하게 하는 유연한 희석 프레임워크를 개발하는 것.
• 모델 압축, 자기 희석, 온라인 희석 등 다양한 설정에서의 유효성을 입증하는 것.
• 기하 지식의 이론적으로 탄탄한 표현을 제공하기 위해 그래프의 열 방정식에서 유도된 신경 열 커널(NHK)을 사용하는 것.

제안 방법

• 기저 그래프 다양체의 기하적 성질을 수학적 표현으로서의 신경 열 커널(NHK)을 제안하며, 이는 그래프의 열 방정식에서 유도된다.
• NHK 행렬을 사용하여 교사 GNN(완전한 그래프에서 훈련)에서 학생 GNN(부분적 그래프에서 훈련)로 기하 지식을 압축하고 전달한다.
• 비모수적 GKD와 모수적 GKD의 두 가지 구현 방식을 개발한다. 비모수적 GKD는 잠재 공간에 대한 가정 하에 NHK를 직접 계산하고, 모수적 GKD는 미분 가능 모듈을 통해 NHK를 학습한다.
• 교사 및 학생 모델의 NHK를 정렬하기 위해, 교사의 정보 흐름 다이내믹스를 학생 모델이 모방하도록 유도하는 희석 손실을 사용한다.
• 모수적 버전을 위해 EM 스타일 최적화를 적용하여 GNN과 NHK 근사 모듈을 동시에 훈련시킨다.
• 모델 압축, 자기 희석, 온라인 희석 등 다양한 설정에 프레임워크를 적용하여 기존 베이스라인 대비 일관된 성능 향상을 보였다.

실험 결과

연구 질문

• RQ1 모델이 부분적 그래프만 액세스할 수 있을 때조차도 그래프 위상 지식을 기하 사전 지식으로 GNN 모델에 희석할 수 있는가?
• RQ2 열 커널에 의해 코딩된 그래프의 기하 구조는 어떻게 체계화되고 교사 및 학생 GNN 간에 전달될 수 있는가?
• RQ3 원칙적인, 열역학적으로 영감을 받은 프레임워크는 전체 위상 정보에 접근할 수 없을 때에도 희박한 그래프에서 GNN 성능을 향상시킬 수 있는가?
• RQ4 기본 지식 희석과 비교했을 때 제안된 기하 지식 희석 프레임워크는 성능 및 일반화 능력 측면에서 어떻게 다른가?
• RQ5 모수적 NHK 근사와 비모수적 NHK 근사 사용 시 훈련 효율성과 모델 용량 간의 상충 관계는 어떠한가?

주요 결과

• 온라인 희석 설정에서 Cora에서 GKD-G, GKD-S, GKD-R 버전은 각각 88.48±0.59, 88.50±0.33, 88.41±0.62의 테스트 정확도를 기록하여 교사(84.61±0.37)를 초월하고 오라클(88.63±0.48)에 근접하였다.
• 모델 압축 설정에서 GKD는 SGC 학생 모델을 85.93±0.17에서 87.15±0.85로 향상시키며, GCN-8는 84.52±1.34에서 88.30±0.46로 향상되어 학생 및 교사 모델 성능을 모두 초월하였다.
• 자기 희석 설정에서 GKD는 GCN-32의 성능을 88.63±0.48에서 89.23±0.52로 향상시켜 성능 정밀화 효과를 입증하였다.
• 모수적 GKD(PGKD)는 200 에포크 내에 수렴하며, 최고의 검증 정확도가 첫 100 에포크 내에 도달하여 수용 가능한 훈련 오버헤드를 보였다.
• GKD 버전은 기존의 단순 희석과 동일한 속도로 수렴하였으며, 시그모이드 및 가우시안 NHK는 표준 KD 수렴 속도를 그대로 유지하였다.
• 모든 평가 설정에서 GKD는 학생 모델을 항상 초월하고 오라클 모델과 경쟁 수준의 성능을 보이며, 기하 지식 전달의 효과성을 입증하였다.