[논문 리뷰] Can Graph Neural Networks Go "Online"? An Analysis of Pretraining and Inference

Lukas Galke, Iacopo Vagliano외 1명|ZBW Publication Archive (ZBW – Leibniz Information Centre for Economics)|2019. 05. 15.

Advanced Graph Neural Networks참고 문헌 15인용 수 6

한 줄 요약

이 논문은 그래프 신경망(GNNs)이 사전학습 이후에 새로운 노드와 간선을 삽입하는 동적 그래프에 효과적으로 적응할 수 있는지 평가하며, 사전학습 모델에서의 미세조정과 새로 학습하는 것을 비교한다. 결과적으로 사전학습된 GNNs는 더 높고 안정적인 테스트 정확도를 기록하며 더 적은 추론 에포크 수로도 성능을 달성함으로써, 실세계 응용에서 온라인 동적 그래프 학습에 있어 사전학습이 필수적임을 보여준다.

ABSTRACT

Large-scale graph data in real-world applications is often not static but dynamic, i. e., new nodes and edges appear over time. Current graph convolution approaches are promising, especially, when all the graph's nodes and edges are available during training. When unseen nodes and edges are inserted after training, it is not yet evaluated whether up-training or re-training from scratch is preferable. We construct an experimental setup, in which we insert previously unseen nodes and edges after training and conduct a limited amount of inference epochs. In this setup, we compare adapting pretrained graph neural networks against retraining from scratch. Our results show that pretrained models yield high accuracy scores on the unseen nodes and that pretraining is preferable over retraining from scratch. Our experiments represent a first step to evaluate and develop truly online variants of graph neural networks.

연구 동기 및 목표

• 사전학습이 새로운 노드와 간선이 학습 이후에 도입될 때 그래프 신경망의 성능을 향상시키는지 조사하기 위해.
• 그래프 업데이트 이후 사전학습 모델에서의 미세조정과 새로 학습하는 것을 비교하여 GNN에서의 온라인 추론의 가능성을 평가하기 위해.
• 미래의 데이터에 대한 다양한 인덕티브 설정—낮은 레이블 비율과 높은 레이블 비율 모두에서—GNN의 강건성과 일반화 능력을 평가하기 위해.
• 그래프 신경망에서 온라인 학습 능력을 평가하기 위한 재현 가능한 실험 프레임워크를 수립하기 위해.
• 사전학습이 동적 그래프 환경에서 성능과 안정성을 향상시키며, 특히 추론 업데이트 수가 제한된 상황에서도 실용적임을 실증적으로 입증하기 위해.

제안 방법

• 두 단계 실험 설계를 구축: 첫 번째 단계는 그래프의 레이블이 부여된 부분집합에서 GNN을 사전학습하는 것; 두 번째 단계는 이전에 보지 못한 노드와 간선을 삽입하고 제한된 수의 추론 에포크를 수행하는 것.
• 세 가지 인용 네트워크 데이터셋—Cora, Citeseer, Pubmed—을 사용하였으며, '소수-다수'(낮은 레이블 비율)와 '다수-소수'(높은 레이블 비율)라는 두 가지 상호보완적인 인덕티브 설정으로 분할하였다.
• 세 가지 GNN 아키텍처—GCN, GAT, GraphSAGE—와 MLP 기반 베이스라인을 사용하였으며, 모두 Adam 옵timizer와 표준 하이퍼파라미터로 학습하였다.
• 각 추론 에포크 이후에 미리 정의된 보류된 노드에 대한 테스트 정확도를 평가하였으며, 사전학습 여부에 따라 모델을 비교하였다(200 에포크).
• 정확도 분포 간 유사도를 정량적으로 비교하기 위해 젠슨-쇼넬 분산(Jensen-Shannon divergence)을 사용하였다.
• 무작위 변동을 줄이고 통계적 신뢰성을 확보하기 위해 총 60개의 실험을 수행하였으며, 각 실험을 100회 반복하였다.

실험 결과

연구 질문

• RQ1 사전학습이 학습 이후 새로운 노드와 간선이 도입될 때 그래프 신경망의 성능을 향상시키는가?
• RQ2 온라인 추론 중에 사전학습된 GNN과 새로 학습한 GNN의 정확도 및 수렴 속도는 어떻게 비교되는가?
• RQ3 레이블 비율이 높거나 낮을 때 사전학습의 이점이 다양한 인덕티브 설정에서 일관되게 유지되는가?
• RQ4 사전학습된 GNN은 새로운 노드와 간선의 추가에 대해 분산과 수렴 측면에서 얼마나 안정적이고 강건한가?
• RQ5 사전학습 후 제한된 수의 추론 에포크로도 보류된 노드에서 높은 정확도를 달성할 수 있는가? 이는 온라인 그래프 학습의 실용성에 대한 시사점을 제공한다.

주요 결과

• 모든 데이터셋과 아키텍처에서 사전학습된 GNNs는 비사전학습 모델보다 일관되게 높은 테스트 정확도를 기록하였으며, 100회 반복 동안 분산이 더 낮았다.
• 사전학습된 모델의 경우 테스트 정확도가 오직 5~10개의 추론 에포크 후에 정점에 도달하며, 이는 보류된 데이터에 대해 빠른 수렴을 의미한다.
• '소수-다수'와 '다수-소수' 설정 간 정확도 분포 간 젠슨-쇼넬 분산은 사전학습이 있을 경우(0.0057–0.0115) 없을 경우(0.0666–0.1013)보다 유의미하게 낮아, 다양한 설정에서 더 일관된 성능을 보였다.
• GAT는 사전학습 없이도 초기 학습 속도가 가장 빠르지만, 사전학습된 모델은 여전히 더 높은 절대 정확도와 안정성을 확보하였다.
• 사전학습된 GNNs는 더 단순하고 그래프 구조를 고려하지 않은 MLP 기반 베이스라인보다도 더 높은 정확도를 기록하였다.
• Cora, Citeseer, Pubmed 세 데이터셋 전반에 걸쳐 사전학습된 모델과 비사전학습 모델 간의 성능 격차는 일관되게 유지되었으며, 이는 연구 결과의 일반화 가능성에 대한 확인을 제공한다.