[논문 리뷰] Iterative Graph Self-Distillation

Hanlin Zhang, Shuai Lin외 5명|arXiv (Cornell University)|2020. 10. 23.

Advanced Graph Neural Networks참고 문헌 51인용 수 10

한 줄 요약

이 논문은 그래프 확산 증강을 사용한 교사-학생 소양화를 통한 반복적 그래프 자기소양화(IGSD)를 제안한다. 이는 전체 그래프 뷰 간의 대비를 위해 자기지도 학습 그래프 표현 학습 방법으로, 다양한 벤치마크에서 비지도 및 준지도 설정 모두에서 최신 기술 성능(SOTA)을 달성하며, 자기학습을 통해 추가로 성능 향상을 이룬다.

ABSTRACT

Recently, there has been increasing interest in the challenge of how to discriminatively vectorize graphs. To address this, we propose a method called Iterative Graph Self-Distillation (IGSD) which learns graph-level representation in an unsupervised manner through instance discrimination using a self-supervised contrastive learning approach. IGSD involves a teacher-student distillation process that uses graph diffusion augmentations and constructs the teacher model using an exponential moving average of the student model. The intuition behind IGSD is to predict the teacher network representation of the graph pairs under different augmented views. As a natural extension, we also apply IGSD to semi-supervised scenarios by jointly regularizing the network with both supervised and self-supervised contrastive loss. Finally, we show that finetuning the IGSD-trained models with self-training can further improve the graph representation power. Empirically, we achieve significant and consistent performance gain on various graph datasets in both unsupervised and semi-supervised settings, which well validates the superiority of IGSD.

연구 동기 및 목표

• 대규모 라벨 데이터에 의존하지 않고도 분류 가능한 그래프 수준 표현을 학습하는 데 도전한다.
• 부정 샘플링 또는 부분그래프 샘플링에 의존하는 기존 대비 학습 방법의 한계를 극복한다.
• 학생 및 교사 네트워크 간 효과적인 지식 전이를 가능하게 하는 자기소양화 프레임워크를 개발한다.
• 감독 및 자기지도 대비 손실을 함께 최적화하여 준지도 설정으로의 방법 확장.
• 고신뢰도 의사 라벨을 활용한 자기학습 전략을 통해 성능 향상.

제안 방법

• IGSD는 교사 네트워크가 학생 네트워크 파라미터의 지수 이동 평균인 교사-학생 소양화 프레임워크를 사용한다.
• 그래프 인스턴스는 그래프 확산을 사용하여 대비 학습을 위한 다중 뷰를 생성한다.
• 모델은 증강된 그래프 뷰의 교사 네트워크 표현을 예측함으로써, 뷰 간 일관성을 강제한다.
• 대비 학습을 위한 잠재 공간으로 표현을 매핑하기 위해 프로젝터 헤드를 사용한다.
• 준지도 설정에서는 자기지도 대비 손실과 감독 대비 손실을 함께 최적화한다.
• 고신뢰도 의사 라벨을 사용한 자기학습을 적용하여 성능을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 부정 샘플링에 의존하지 않고도 자기소양화 프레임워크가 분류 가능한 그래프 수준 표현을 효과적으로 학습할 수 있는가?
• RQ2 학생 및 교사 네트워크 간 반복적 지식 전이가 자기지도 설정에서 그래프 표현 학습을 어떻게 향상시키는가?
• RQ3 제안된 방법이 다양한 GNN 인코더와 데이터 증강 전략에 대해 일반화 가능한가?
• RQ4 소량의 라벨 데이터가 존재할 때 IGSD는 준지도 그래프 학습에서 얼마나 효과적인가?
• RQ5 의사 라벨을 활용한 자기학습은 IGSD의 성능을 얼마나 더 향상시킬 수 있는가?

주요 결과

• QM9 데이터셋의 10개 중 9개의 회귀 과제에서 IGSD는 InfoGraph, InfoGraph*, Mean Teachers를 크게 앞서며 최신 기술 성능(SOTA)을 달성한다.
• IMDB-B 데이터셋에서 IGSD는 모든 라벨 데이터 비율에서 강력한 베이스라인인 InfoGraph*를 초월하며, 10% 라벨 데이터에서 가장 큰 성과 향상을 보였다.
• 자기학습은 GIN 베이스라인 및 IGSD 모델 양쪽 모두 성능 향상을 이끌었으며, 감독 대비 손실과 결합했을 때 가장 큰 향상이 관찰되었다.
• 배치 크기를 늘릴수록 IGSD 성능이 향상되었고, CMC-Graph는 더 큰 배치에서 성능이 떨어져 IGSD가 부정 쌍을 더 효과적으로 활용할 수 있음을 시사한다.
• 프로젝터 헤드를 제거하면 평균적으로 분류 정확도가 2.5% 감소하여, 표현 품질 향상에서의 중요성을 확인한다.
• 프로젝터 크기에 따른 성능 민감도는 낮지만, 더 큰 프로젝터 헤드에서 略로 더 나은 성능이 관찰되었다.