[논문 리뷰] Distilling Knowledge from Graph Convolutional Networks

Yiding Yang, Jiayan Qiu외 3명|arXiv (Cornell University)|2020. 03. 23.

Advanced Neural Network Applications참고 문헌 48인용 수 21

한 줄 요약

이 논문은 그래프 컬러네이션 네트워크(GCNs)를 위한 최초의 전용 지식 증류 방법을 제안하며, 지역적 노드 구조의 분포를 매칭시켜 교사 GCN에서 학생 모델로 위상적 의미를 전달하는 지역 구조 유지(LSP) 모듈을 도입한다. 이 방법은 다양한 GCN 아키텍처와 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 교사 모델의 파라미터 수의 1/18만을 사용하는 학생 모델로 ModelNet40에서 91.9%의 정확도를 기록한다.

ABSTRACT

Existing knowledge distillation methods focus on convolutional neural networks (CNNs), where the input samples like images lie in a grid domain, and have largely overlooked graph convolutional networks (GCN) that handle non-grid data. In this paper, we propose to our best knowledge the first dedicated approach to distilling knowledge from a pre-trained GCN model. To enable the knowledge transfer from the teacher GCN to the student, we propose a local structure preserving module that explicitly accounts for the topological semantics of the teacher. In this module, the local structure information from both the teacher and the student are extracted as distributions, and hence minimizing the distance between these distributions enables topology-aware knowledge transfer from the teacher, yielding a compact yet high-performance student model. Moreover, the proposed approach is readily extendable to dynamic graph models, where the input graphs for the teacher and the student may differ. We evaluate the proposed method on two different datasets using GCN models of different architectures, and demonstrate that our method achieves the state-of-the-art knowledge distillation performance for GCN models. Code is publicly available at https://github.com/ihollywhy/DistillGCN.PyTorch.

연구 동기 및 목표

• 그리드가 아닌 데이터(예: 점군과 분자 구조)에서 점점 더 널리 사용되고 있음에도 불구하고, 그래프 컬러네이션 네트워크(GCNs)의 지식 증류에 대한 연구가 부족한 점을 보완하기 위해.
• 입력 그래프의 위상적 구조를 유지하면서 사전에 훈련된 교사 GCN에서 더 작고 효율적인 학생 GCN으로 효과적인 지식 전달을 가능하게 하기 위해.
• 표준 출력 또는 활성화 증류를 넘어서, GCN 표현에 내장된 위상적 의미를 명시적으로 고려하는 방법을 설계하기 위해.
• 그래프 구조가 교사와 학생 간에 다를 수 있는 동적 그래프 모델로 이 방법을 확장하기 위해.
• 노드 분류 및 3D 객체 인식 분야에서 다양한 GCN 아키텍처와 실제 데이터셋에 대한 일반화 능력을 입증하기 위해.

제안 방법

• 지역 구조 유지(LSP) 모듈은 특성 공간에서 각 노드와 그 이웃 간의 유사도 분포를 계산하여 그래프의 지역적 구조를 표현한다.
• LSP 모듈은 커널 기반의 산란 측도(예: RBF 커널)를 사용하여 교사 및 학생 GCN의 지역 구조 분포 간의 거리를 최소화함으로써 위상 인식 지식 전달을 가능하게 한다.
• 이 방법은 학생 모델이 교사와 유사한 지역적 구조 조직을 학습하도록 유도하는 증류 손실로 공식화되며, 그래프 구조가 다를 경우에도 적용 가능하다.
• 이 방법은 그래프가 사전에 고정되어 있지 않고 추론 또는 훈련 중에 구성되는 동적 그래프 모델과도 호환된다.
• LSP 손실은 훈련 중에 표준 교차 엔트로피 손실과 결합되어 학생 모델의 엔드 투 엔드 최적화를 가능하게 한다.
• 이 방법은 PyTorch로 구현되어 공개되었으며, 다양한 GCN 아키텍처와 하이퍼파라미터 설정을 지원한다.

실험 결과

연구 질문

• RQ1 비그리드, 위상적으로 구조화된 데이터를 처리하는 그래프 컬러네이션 네트워크(GCNs)에 대해 지식 증류를 효과적으로 적용할 수 있는가?
• RQ2 노드 예측이나 중간 활성화를 넘어서, 위상적 의미—즉, 교사 GCN에서 학생 모델로 전달할 수 있는 의미적 정보—는 어떻게 증류할 수 있는가?
• RQ3 특히 층 수, 채널 수, 그래프 복잡도 측면에서 훨씬 작아진 학생 GCN 모델이 교사 모델에 비해 유사한 성능을 달성할 수 있는가?
• RQ4 교사와 학생 간의 지역적 구조 분포를 유지함으로써 다양한 GCN 아키텍처와 데이터셋에서 더 나은 일반화 및 강건성 성능을 달성할 수 있는가?
• RQ5 입력 그래프 구조가 교사와 학생 간에 다를 수 있는 동적 그래프 모델로 이 증류 방법을 확장할 수 있는가?

주요 결과

• ModelNet40 3D 객체 인식 데이터셋에서 제안된 방법은 학생 모델의 파라미터 수가 0.1M에 불과한 상태에서 91.9%의 테스트 정확도를 달성했으며, 교사 모델은 1.81M의 파라미터를 사용했다.
• LSP 모듈을 사용해 훈련된 학생 모델은 KD, AT, FitNet 등 모든 베이스라인을 초월하여 평균 클래스 정확도 88.6%를 기록했으며, KD는 88.1%, AT는 87.9%였다.
• RBF 커널 함수는 테스트된 모든 커널 함수 중에서 가장 높은 성능을 보였으며, ModelNet40에서 91.9%의 정확도와 88.6%의 평균 클래스 정확도를 기록했다.
• 교사 모델의 파라미터 수의 1/18만을 사용하는 학생 모델이지만 LSP 방법은 유사한 성능을 달성하여 뛰어난 파라미터 효율성을 입증했다.
• 제거 실험 결과, 학생 모델의 모델 용량을 늘리면(예: 더 많은 채널 또는 층 수) 정확도가 높아지는 경향을 보였으며(채널 수 증가 시 최대 92.3% 도달), 이는 방법의 확장성과 효과성을 확인한다.
• 시각화 결과, LSP로 훈련된 학생 모델이 초기 훈련 단계부터 교사 모델과 유사한 특성 공간의 구조를 신속히 학습하는 것으로 확인되었으며, 이는 효과적인 위상 지식 전달을 의미한다.