[논문 리뷰] Distilling Self-Knowledge From Contrastive Links to Classify Graph Nodes Without Passing Messages

Yi Luo, Aiguo Chen외 2명|arXiv (Cornell University)|2021. 06. 16.

Advanced Graph Neural Networks참고 문헌 18인용 수 9

한 줄 요약

이 논문은 메시지 전파 없이 연결된 노드 쌍으로부터 자기 지식을 희석시켜 다층퍼셉트론(MLP)에 통합함으로써 그래프 노드를 분류하는 LinkDist를 제안한다. 대조 학습을 통해 노드와 그 이웃 간 일관된 예측을 강제함으로써 LinkDist는 메시지 전파가 없는 상황에서 GNN 수준의 정확도를 달성하면서도 더 빠르고 메모리 효율적이다.

ABSTRACT

Nowadays, Graph Neural Networks (GNNs) following the Message Passing paradigm become the dominant way to learn on graphic data. Models in this paradigm have to spend extra space to look up adjacent nodes with adjacency matrices and extra time to aggregate multiple messages from adjacent nodes. To address this issue, we develop a method called LinkDist that distils self-knowledge from connected node pairs into a Multi-Layer Perceptron (MLP) without the need to aggregate messages. Experiment with 8 real-world datasets shows the MLP derived from LinkDist can predict the label of a node without knowing its adjacencies but achieve comparable accuracy against GNNs in the contexts of semi- and full-supervised node classification. Moreover, LinkDist benefits from its Non-Message Passing paradigm that we can also distil self-knowledge from arbitrarily sampled node pairs in a contrastive way to further boost the performance of LinkDist.

연구 동기 및 목표

• 메시지 전파가 필요한 인접 행렬과 메시지 집계를 수반하는 그래프 신경망(GNNs)의 계산 및 메모리 오버헤드를 해결한다.
• 간선이나 노드가 변경될 경우 재학습이 필요로 되는 동적 그래프에서 지식 희석의 한계를 극복한다.
• 학습 시 이웃 정보에 의존하지 않고도 높은 정확도를 유지할 수 있는 경량화되고 빠르며 구현이 용이한 모델을 개발한다.
• 메시지 전파 없이도 노드 연결성에서 유래한 구조적 지식을 단순한 모델인 MLP에 희석시킬 수 있는지 탐색한다.
• 전체 그래프 구조가 아닌 간선 수준의 쌍으로 학습하여 효율적인 인덕티브 노드 분류를 가능하게 한다.

제안 방법

• 중앙 노드와 그 이웃에 대해 동일한 MLP 헤드를 학습하여 노드 레이블을 예측하고, 지식 희석을 통해 예측 일관성을 강제한다.
• 연결된 노드 간의 예측 일치를 극대화하고, 무작위로 샘플된 노드 쌍 간의 일치를 최소화하기 위해 대조 손실을 사용한다.
• 메시지 전파 없이도 노드와 그 인접 노드에 대해 유사한 예측을 생성하도록 모델을 최적화함으로써 자기 지식을 희석시킨다.
• 학습 과정을 간선의 미니배치로 분해함으로써 메모리 사용량을 줄이고 대규모 그래프에서의 확장성을 확보한다.
• 학습 시 이웃 특징을 저장하거나 접근할 필요 없이 중심 노드의 특징만으로도 메시지 전파 모드를 제거함으로써 추론 시 이웃 정보에 의존하지 않는다.
• 무작위로 샘플된 노드 쌍에 대한 예측을 명시적으로 갈리게 하는 대조 변형(CoLinkDist)을 도입하여 성능을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 메시지 전파 없이도 노드 연결성에서 유래한 구조적 지식을 단순한 MLP에 효과적으로 희석시킬 수 있는가?
• RQ2 메시지 전파가 없는 모델이 준감독 및 전감독 노드 분류 작업에서 GNN과 유사한 정확도를 달성할 수 있는가?
• RQ3 노드 쌍에 대한 대조 학습이 표준 희석 대비 희석된 MLP의 성능을 향상시키는가?
• RQ4 새로운 노드나 간선이 추가될 경우 LinkDist는 전체 그래프를 재처리하지 않고도 높은 정확도를 유지할 수 있는가?
• RQ5 인덕티브 및 트랜스덕티브 환경에서 LinkDist의 성능은 GCN에서 MLP로의 지식 희석(GCN2MLP)과 비교해 어떻게 되는가?

주요 결과

• LinkDistMLP는 메시지 전파가 없는 모델 중에서 최신 기술 수준의 성능을 달성하며, 모든 8개의 실세계 데이터셋에서 표준 MLP보다 큰 격차로 승리한다.
• Cora 데이터셋에서 LinkDistMLP는 전감독 학습에서 87.58%의 정확도를 기록했으며, GCN2MLP(75.95%)를 뛰어넘고 GCN(86.03%)의 정확도에 가까워졌다.
• 인덕티브 설정에서 LinkDistMLP는 Cora에서 87.58%의 정확도를 달성했으며, GCN2MLP(75.95%)를 뛰어넘었고, 희석된 구조적 지식이 일반화 능력을 향상시킨다는 것을 보여주었다.
• 대조 변형인 CoLinkDistMLP는 성능을 추가로 향상시켜 Coauthor-CS에서 95.74%, Coauthor-Physics에서 97.05%의 정확도를 기록했으며, 일부 경우에서 GCN을 초월했다.
• 메시지 전파 모드에서 LinkDist는 Cora에서 88.24%의 정확도를 기록했으며, 모든 데이터셋에서 GCN의 정확도를 맞추거나 초월하여 GNN과의 경쟁력을 입증했다.
• 이 방법은 그래프 변화에 강건하다: 전체 그래프를 재처리하는 대신 LinkDist는 파라미터를 효율적으로 업데이트하여 비용이 많이 드는 메시지 전파를 피한다.