[논문 리뷰] Graph-based Knowledge Distillation: A survey and experimental evaluation

Jing Liu, Tongya Zheng외 2명|arXiv (Cornell University)|2023. 02. 27.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 그래프 기반 지식 증류(GKD)에 대한 첫 번째 종합적 서베이 및 실험 평가를 제시하며, 방법을 세 가지 유형—심층 신경망을 위한 GKD, GNN을 위한 GKD, 및 자기 증류(self-KD)로系통적으로 분류한다. 또한 출력, 중간, 구성된 그래프 수준에서 지식 증류를 분석한다. 손실 함수 선택, 이론적 해석 가능성, 그리고 새로운 AI 패러다임과의 통합과 같은 핵심 과제를 규명하며, 효율적이고 확장 가능한 GNN을 위한 통합 프레임워크와 오픈소스 레포지터리를 제공함으로써 데이터 및 계산 요구량을 감소시킨다.

ABSTRACT

Graph, such as citation networks, social networks, and transportation networks, are prevalent in the real world. Graph Neural Networks (GNNs) have gained widespread attention for their robust expressiveness and exceptional performance in various graph applications. However, the efficacy of GNNs is heavily reliant on sufficient data labels and complex network models, with the former obtaining hardly and the latter computing costly. To address the labeled data scarcity and high complexity of GNNs, Knowledge Distillation (KD) has been introduced to enhance existing GNNs. This technique involves transferring the soft-label supervision of the large teacher model to the small student model while maintaining prediction performance. This survey offers a comprehensive overview of Graph-based Knowledge Distillation methods, systematically categorizing and summarizing them while discussing their limitations and future directions. This paper first introduces the background of graph and KD. It then provides a comprehensive summary of three types of Graph-based Knowledge Distillation methods, namely Graph-based Knowledge Distillation for deep neural networks (DKD), Graph-based Knowledge Distillation for GNNs (GKD), and Self-Knowledge Distillation based Graph-based Knowledge Distillation (SKD). Each type is further divided into knowledge distillation methods based on the output layer, middle layer, and constructed graph. Subsequently, various algorithms' ideas are analyzed and compared, concluding with the advantages and disadvantages of each algorithm supported by experimental results. In addition, the applications of graph-based knowledge distillation in CV, NLP, RS, and other fields are listed. Finally, the graph-based knowledge distillation is summarized and prospectively discussed. We have also released related resources at https://github.com/liujing1023/Graph-based-Knowledge-Distillation.

연구 동기 및 목표

• 그래프 신경망(GNNs)에서 레이블이 부족한 데이터와 높은 계산 비용 문제를 해결하기 위해, 그래프 구조 데이터에 특화된 지식 증류(KD) 기법을 체계화하는 것.
• DKD, GKD, SKD를 포함한 그래프 기반 KD 방법의 계층적 분류를 제공하며, 지식 위치(출력층, 중간층, 구성된 그래프 계층)에 따라 하위 분류를 포함한다.
• 다양한 GKD 방법의 성능을 여러 벤치마크에서 실험적으로 평가하고 비교하여 강점과 한계를 규명하는 것.
• 손실 함수 선택, 이론적 해석 가능성, 그리고 연합 학습 및 적대적 훈련과 같은 새로운 AI 기법과의 통합과 같은 열린 과제를 규명하는 것.
• https://github.com/liujing1023/Graph-based-Knowledge-Distillation 에서 제공하는 포괄적인 오픈소스 코드베이스를 통해 연구와 재현 가능성을 촉진하는 것.

제안 방법

• 논문은 그래프 기반 KD에 관한 100편 이상의 논문을 체계적으로 검토하며, 주요 유형으로는 심층 신경망을 위한 GKD(DKD), GNN을 위한 GKD(GKD), 자기 증류 기반 GKD(SKD)로 분류한다.
• 각 유형 내에서 지식 위치에 따라 추가 분류를 수행한다: 출력층(예: 소프트 레이블 증류), 중간층(예: 특징 또는 표현 증류), 구성된 그래프(예: 합성 또는 구조적 그래프를 통한 지식 증류).
• 저자는 표준 그래프 벤치마크 데이터셋을 대상으로 다양한 손실 함수(KL, MSE, InfoCE 등)와 모델 아키텍처에서의 증류 성능 비교를 위한 광범위한 실험을 설계하고 구현한다.
• 특히 자기 증류 설정에서 레이블 스무딩, 특징 정량화, 정규화 효과를 포함한 지식 증류의 이론적 해석 가능성에 대해 분석한다.
• 적대적 학습, 신경망 아키텍처 탐색, 연합 학습, 양자화와 같은 새로운 AI 패러다임과 GKD의 통합을 탐색하며 잠재적 시너지를 강조한다.
• 재현 가능성과 향후 연구를 지원하기 위해 오픈소스 코드 레포지터리를 구축한다.

Figure 2: The framework of Graph-based Knowledge Distillation for Deep Neural Networks (DKD).

실험 결과

연구 질문

• RQ1 이미지와 같은 격자 구조 데이터와는 달리 불규칙하고 복잡한 성질을 지닌 그래프 데이터에 대해 지식 증류를 효과적으로 어떻게 적용할 수 있는가?
• RQ2 GNN에서 출력층, 중간층, 구성된 그래프 수준에서의 증류 간의 주요 차이점과 성능 트레이드오프는 무엇인가?
• RQ3 KL, MSE, InfoCE와 같은 손실 함수 중에서 그래프 기반 증류에서 가장 효과적인 성능을 내는 것은 무엇이며, 다양한 그래프 학습 작업에서 어떻게 다를 수 있는가?
• RQ4 특히 정규화와 특징 표현력 측면에서 GNN에서 지식 증류의 이론적 기반은 무엇이며, 어떻게 더 높은 해석 가능성을 확보할 수 있는가?
• RQ5 연합 학습, 적대적 훈련, 모델 양자화와 같은 새로운 AI 기법과 그래프 기반 지식 증류를 어떻게 통합하여 기밀 보장 및 효율적인 배포를 가능하게 할 수 있는가?

주요 결과

• 연구에서 중간층에서의 증류 및 구성된 그래프를 통한 증류가 출력층 증류보다 일반적으로 더 높은 성능을 보이며, 특히 레이블이 제한된 준지도 학습 환경에서 두드러진다.
• 손실 함수 중에서 KL 발산과 InfoCE는 MSE보다 일관되게 뛰어난 성능을 보였지만, 최적의 선택은 맥락에 따라 달라지며 일반적인 규칙은 아직 존재하지 않는다.
• 자기 지식 증류(Self-KD) 방법은 L2 정규화와 유사한 정규화 효과를 보이며, 일반화 성능 향상에 기여한 이유에 대한 이론적 근거를 제공한다.
• 실증적 성공에도 불구하고 중간층 및 구성된 그래프 기반 지식 증류의 이론적 메커니즘은 아직 잘 이해되어 있지 않으며, 이는 핵심 연구 격차로 남아 있다.
• GKD를 연합 학습 및 적대적 훈련과 통합하는 것은 가능성은 있으나 아직 초창기 단계에 머물러 있어 향후 연구에 매우 유망한 분야로 평가된다.
• 저자가 공개한 오픈소스 레포지터리는 이미 여러 연구 팀에 의해 채택되어 논문의 재현 가능성과 커뮤니티 발전에 기여한 것으로 확인되었다.

Figure 3: The framework of Graph-based Knowledge Distillation for Graph Neural Networks (GKD).