[논문 리뷰] A pipeline for fair comparison of graph neural networks in node classification tasks

Wentao Zhao, Dalin Zhou외 2명|arXiv (Cornell University)|2020. 12. 19.

Advanced Graph Neural Networks참고 문헌 55인용 수 5

한 줄 요약

이 논문은 노드 분류 작업에서 그래프 신경망(GNN) 간 공정한 비교를 위한 표준화되고 재현 가능한 벤치마크 파이프라인을 제안한다. 통합된 훈련 절차, 소규모 데이터셋을 위한 k-폴드 교차검증, 그리고 node2vec와 라플라시안 고유벡터를 활용한 체계적 데이터 증강 기법을 도입하여, 특히 비연결 그래프에서 위상적 특징과 적절한 데이터 증강이 성능 향상에 크게 기여함을 입증한다.

ABSTRACT

Graph neural networks (GNNs) have been investigated for potential applicability in multiple fields that employ graph data. However, there are no standard training settings to ensure fair comparisons among new methods, including different model architectures and data augmentation techniques. We introduce a standard, reproducible benchmark to which the same training settings can be applied for node classification. For this benchmark, we constructed 9 datasets, including both small- and medium-scale datasets from different fields, and 7 different models. We design a k-fold model assessment strategy for small datasets and a standard set of model training procedures for all datasets, enabling a standard experimental pipeline for GNNs to help ensure fair model architecture comparisons. We use node2vec and Laplacian eigenvectors to perform data augmentation to investigate how input features affect the performance of the models. We find topological information is important for node classification tasks. Increasing the number of model layers does not improve the performance except on the PATTERN and CLUSTER datasets, in which the graphs are not connected. Data augmentation is highly useful, especially using node2vec in the baseline, resulting in a substantial baseline performance improvement.

연구 동기 및 목표

• 노드 분류 작업에서 GNN 아키텍처 간 공정한 비교를 위한 표준화된 훈련 설정의 부족을 해결하기 위해.
• 다양한 GNN 모델 간 일관된 초파rameter, 모델 깊이, 파라미터 예산을 보장하는 재현 가능한 실험 파이프라인을 수립하기 위해.
• 데이터 증강 기법을 활용하여 입력 특징, 특히 위상적 정보가 GNN 성능에 미치는 영향을 평가하기 위해.
• 미래 연구자들이 일관된 평가 조건 하에 새로운 모델과 데이터셋을 프레임워크에 확장할 수 있도록 하기 위해.

제안 방법

• 모든 7개의 GNN 아키텍처에서 동일한 초파rameter, 파라미터 예산, 모델 깊이를 갖는 표준화된 훈련 파이프라인을 PyTorch와 PyTorch Geometric를 사용하여 구현하였다.
• 소규모 데이터셋의 경우, 공정하고 안정적인 모델 평가를 위해 무작위 분할 대신 10-폴드 교차검증 전략을 적용하였다.
• 노드의 위상적 정보를 풍부하게 하기 위해 node2vec과 라플라시안 고유벡터를 활용한 데이터 증강 기법을 적용하였다.
• 옵티마이저, 학습률, 조기 정지 등 동일한 훈련 조건을 유지하여 모델 성능 평가의 비교 가능성을 확보하였다.
• 모듈러한 확장 기능을 지원하여 연구자들이 일관된 평가 프로토콜 하에 새로운 모델과 데이터셋을 쉽게 통합할 수 있도록 하였다.
• GatedGCN과 ResGatedGCN에서는 장기적 의존성을 게이팅 메시지 전파를 통해 모델링하기 위해 GRU 기반의 집계 메커니즘을 사용하였다.

실험 결과

연구 질문

• RQ1 데이터 증강을 통해 위상적 특징을 포함시킬 경우, GNN의 노드 분류 성능에 어떤 영향을 미치는가?
• RQ2 동일한 설정 하에서 다양한 그래프 구조에서 서로 다른 GNN 아키텍처가 얼마나 일반화되는가?
• RQ3 레이어 수를 늘리는 것이 모든 그래프 유형에서 성능 향상에 일관되게 기여하는가?
• RQ4 소규모 데이터셋에서 k-폴드 교차검증은 무작위 분할에 비해 공정한 모델 평가를 얼마나 더 잘 보장하는가?
• RQ5 node2vec와 라플라시안 고유벡터 중 어느 것이 기준 성능 향상에 더 큰 영향을 미치는가?

주요 결과

• 특히 데이터 증강을 통해 주입된 위상적 정보는 대부분의 데이터셋에서 노드 분류 성능을 크게 향상시킨다.
• 레이어 수를 늘리는 것이 성능 향상에 기여하는 것은 PATTERN과 CLUSTER 데이터셋을 제외한 모든 그래프에서 나타나지 않으며, 이는 연결된 그래프에서 과적합 또는 기울기 소실 현상이 발생할 수 있음을 시사한다.
• node2vec를 활용한 데이터 증강은 기준 성능을 크게 향상시켜, 학습된 노드 표현이 GNN에 매우 유용하다는 것을 시사한다.
• 소규모 데이터셋에서 k-폴드 교차검증은 무작위 분할에 비해 더 신뢰성 있고 공정한 모델 비교를 가능하게 한다.
• GatedGCN과 ResGatedGCN는 GRU 기반 메시지 전파를 통해 장기적 의존성을 효과적으로 모델링하여 뛰어난 성능을 보였다.
• 제안된 벤치마크 프레임워크는 다양한 데이터셋과 아키텍처 간 일관되고 재현 가능하며 공정한 GNN 모델 비교를 가능하게 한다.