[논문 리뷰] PyTorch Geometric Signed Directed: A Software Package on Graph Neural Networks for Signed and Directed Graphs

Yixuan He, Xitong Zhang외 4명|arXiv (Cornell University)|2022. 02. 22.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

PyTorch Geometric Signed Directed (PyGSD)은 서명된 방향성 있는 그래프를 위해 특화된 딥러닝 라이브러리로서, 그래프 신경망(GNN)을 위한 첫 번째 오픈소스 라이브러리이다. PyTorch Geometric을 확장하여 전용 GNN 모델, 데이터 로더, 손실 함수, 평가 지표를 제공하며, 실제 및 합성 서명된 방향성 네트워크에서 노드 분류, 링크 예측, 방향 예측 작업에서 높은 효율성과 성능 향상을 입증하였다.

ABSTRACT

Networks are ubiquitous in many real-world applications (e.g., social networks encoding trust/distrust relationships, correlation networks arising from time series data). While many networks are signed or directed, or both, there is a lack of unified software packages on graph neural networks (GNNs) specially designed for signed and directed networks. In this paper, we present PyTorch Geometric Signed Directed (PyGSD), a software package which fills this gap. Along the way, we evaluate the implemented methods with experiments with a view to providing insights into which method to choose for a given task. The deep learning framework consists of easy-to-use GNN models, synthetic and real-world data, as well as task-specific evaluation metrics and loss functions for signed and directed networks. As an extension library for PyG, our proposed software is maintained with open-source releases, detailed documentation, continuous integration, unit tests and code coverage checks. The GitHub repository of the library is https://github.com/SherylHYX/pytorch_geometric_signed_directed.

연구 동기 및 목표

• 서명된 방향성 있는 네트워크에 특화된 통합된 오픈소스 소프트웨어가 부족한 문제를 해결하기 위해.
• 서명된 방향성 있는 그래프를 위한 GNN 모델, 데이터 생성, 작업별 평가를 지원하는 종합적이고 유지보수 가능하며 효율적인 소프트웨어 패키지를 제공하기 위해.
• 실제 서명된 방향성 있는 네트워크에서 기존 GNN 방법을 평가하고 비교하여 실무자들이 모델 선택에 도움이 되도록 하기 위해.
• PyTorch Geometric에 전용 구성 요소를 추가하여 서명된 방향성 있는 그래프 학습을 위한 맞춤형 손실 함수와 지표를 제공하기 위해.
• 오픈소스 배포, 문서화, 지속적 통합, 단위 테스트, 코드 커버리지 검사를 통해 소프트웨어 품질을 확보하기 위해.

제안 방법

• 서명된 방향성 있는 간선 가중치에 맞게 조정된 전용 GNN 아키텍처를 구현하였으며, DGCN, DiGCN, DiGCNIB, DiGCL, MagNet, SGCN, SNEA, SiGAT, SDGNN, SSSNET, MSGNN 등을 포함한다.
• 서명된 방향성 있는 그래프에서의 노드 분류, 링크 예측(3개 클래스 및 존재 여부 예측 포함), 방향 예측 작업을 위한 작업별 손실 함수와 평가 지표를 도입하였다.
• 기준 테스트를 위해 합성 데이터 생성기와 실제 데이터 로더를 통합하였으며, CoraML, CiteSeer, Telegram, BitCoin-Alpha, BitCoin-OTC, Slashdot, Epinions, FiLL 등의 데이터셋을 포함한다.
• PyTorch Geometric의 MessagePassing 프레임워크를 활용하였으며, 효율성을 높이기 위해 최적화된 구현을 제공하였으며, 원본 대비 최대 70% 런타임 감소를 이룬 재구현된 MagNet을 포함한다.
• 엄격한 소프트웨어 공학 관행을 기반으로 소프트웨어를 구축하였으며, 오픈소스 배포, 상세한 문서화, 지속적 통합, 단위 테스트, 코드 커버리지 검사를 수행하였다.
• 실험은 표준 분할(테스트 간선 20%)과 원본 논문에서의 기본 초모수를 사용하였으며, 다양한 데이터셋과 작업에서 정확도와 런타임을 성능 측정 지표로 사용하였다.

실험 결과

연구 질문

• RQ1 서명된 방향성 있는 그래프에서 노드 분류 작업에 가장 잘 수행하는 GNN 아키텍처는 무엇인가?
• RQ2 서명된 방향성 있는 간선을 포함한 링크 예측 작업에서 다양한 GNN 모델은 어떻게 비교되는가?
• RQ3 PyGSD의 구현은 원본 코드베이스 대비 어떤 수준의 계산 효율성을 보이는가?
• RQ4 특화된 손실 함수와 지표는 서명된 방향성 있는 그래프 학습 작업에서 성능을 어떻게 향상시키는가?
• RQ5 실제 서명된 방향성 있는 네트워크에서 정확도와 추론 속도 사이의 최적의 트레이드오프를 제공하는 모델 아키텍처는 무엇인가?

주요 결과

• PyGSD는 원본 대비 MagNet의 런타임을 최대 70% 감소시켰으며, 노드 분류 작업에서 Cornell 데이터셋에서 21초를 기록한 반면 원본은 73초를 기록하였다.
• DiGCN과 DiGCNIB는 대부분의 데이터셋에서 가장 빠른 추론 시간을 기록하였으며, 노드 분류 작업에서 Cornell, Texas, Wisconsin 데이터셋에서 1폴드당 10초 미만의 시간을 기록하였다.
• FiLL 데이터셋(42개 네트워크)에서 링크 예측 작업을 수행할 경우, SGCN의 평균 런타임은 591초였지만, DiGCN는 30초로 런타임을 크게 단축시켜 일부 모델에서 뚜렷한 효율성 향상을 보였다.
• SGCN, SNEA, SiGAT, SDGNN, SSSNET, MSGNN에 대해 제안된 손실 함수는 모든 작업에서 경쟁력 있는 성능을 기록하였으며, 표준 벤치마크에서 높은 정확도를 확보하였다.
• DiGCL의 구현은 Telegram 데이터셋에서 방향 예측 작업에 대해 37초의 런타임을 기록하였으며, 원본 구현 대비 빠른 속도를 기록하면서도 경쟁 가능한 정확도를 유지하였다.
• 소프트웨어의 모듈러 디자인과 광범위한 테스트는 신뢰성과 재현 가능성을 보장하였으며, 전체 코드 커버리지와 지속적 통합 검사를 통과하였다.