[논문 리뷰] Graph Networks with Spectral Message Passing

Kimberly Stachenfeld, Jonathan Godwin외 1명|arXiv (Cornell University)|2020. 12. 31.

Computational Drug Discovery Methods참고 문헌 2인용 수 5

한 줄 요약

이 논문은 스펙트럼 그래프 네트워크(SGNs)를 제안하며, 라플라시안 고유벡터 기반의 스펙트럼 메시지 전파와 공간 메시지 전파를 결합하여 장거리 정보 흐름을 향상시키는 새로운 GNN 아키텍처이다. 노드를 고유벡터에 투영하고 스펙트럼 도메인에서 학습 가능한 메시지 전파를 적용함으로써, SGNs는 더 빠른 훈련 속도, 엣지 드롭아웃에 대한 더 높은 강건성, 그리고 그래프 MNIST, 분자 성질 예측, 최단 경로 작업에서의 향상된 성능을 달성한다. 특히 저차원 또는 커뮤니티 구조를 가진 그래프에서 뛰어난 성능을 보인다.

ABSTRACT

Graph Neural Networks (GNNs) are the subject of intense focus by the machine learning community for problems involving relational reasoning. GNNs can be broadly divided into spatial and spectral approaches. Spatial approaches use a form of learned message-passing, in which interactions among vertices are computed locally, and information propagates over longer distances on the graph with greater numbers of message-passing steps. Spectral approaches use eigendecompositions of the graph Laplacian to produce a generalization of spatial convolutions to graph structured data which access information over short and long time scales simultaneously. Here we introduce the Spectral Graph Network, which applies message passing to both the spatial and spectral domains. Our model projects vertices of the spatial graph onto the Laplacian eigenvectors, which are each represented as vertices in a fully connected "spectral graph", and then applies learned message passing to them. We apply this model to various benchmark tasks including a graph-based variant of MNIST classification, molecular property prediction on MoleculeNet and QM9, and shortest path problems on random graphs. Our results show that the Spectral GN promotes efficient training, reaching high performance with fewer training iterations despite having more parameters. The model also provides robustness to edge dropout and outperforms baselines for the classification tasks. We also explore how these performance benefits depend on properties of the dataset.

연구 동기 및 목표

• 반복적 메시지 전파에 의존함으로써 공간 GNN의 장거리 상관관계를 포착하는 데 한계가 있음을 해결하기 위해.
• 학습 가능한, 미분 가능한 GNN 프레임워크에 전역 그래프 구조를 접근할 수 있는 스펙트럼 방법의 능력을 통합하기 위해.
• 스펙트럼 메시지 전파가 모델 성능, 훈련 효율성, 엣지 드롭아웃에 대한 강건성 향상에 기여하는지 조사하기 위해.
• 다양한 그래프 구조에서 스펙트럼적 메시지 전파와 공간적 메시지 전파의 기여도를 평가하기 위해.

제안 방법

• 모델은 그래프 라플라시안의 첫 K개 고유벡터에 입력 그래프 노드를 투영하여 완전히 연결된 '스펙트럼 그래프'를 형성한다.
• 공간 그래프와 스펙트럼 그래프 양쪽에서 독립적으로 학습 가능한 메시지 전파를 적용하여 노드와 고유벡터를 통해 특징을 전파한다.
• 노드 특징은 공간적 및 스펙트럼적 메시지 전파에 대해 별도로 업데이트되는 그래프 네트워크(GN) 프레임워크를 통해 갱신된다.
• 스펙트럼 그래프는 라플라시안 고유벡터를 사용하여 구축되며, 저주파 성분과 같은 전역 구조 정보를 포함한다.
• 스펙트럼 도메인에서의 메시지 전파를 매개변수화하기 위해 학습 가능한 변환(U)을 사용하여 엔드 투 엔드 훈련을 가능하게 한다.
• 강건성 평가를 위해 엣지 드롭아웃 및 희박화를 적용하였으며, 표준 GN 및 GCN과의 성능 비교를 수행하였다.

실험 결과

연구 질문

• RQ1 공간적 및 스펙트럼적 메시지 전파를 융합하면 GNN의 장거리 관계 추론 성능이 향상되는가?
• RQ2 기존 공간 GNN에 비해 스펙트럼 메시지 전파가 훈련 효율성과 엣지 드롭아웃에 대한 강건성 향상에 기여하는가?
• RQ3 스케일프리, 커뮤니티 구조, 저차원 등 다양한 그래프 구조에서 모델 성능와 훈련 동역학은 어떻게 변화하는가?
• RQ4 전반적인 성능에 있어 공간적 메시지 전파와 스펙트럼적 메시지 전파의 상대 기여도는 어떠한가?

주요 결과

• 스펙트럼 GN은 더 많은 파라미터를 가짐에도 불구하고, 표준 GN 및 GCN보다 훈련 반복 수를 줄여 그래프 MNIST에서 높은 성능을 달성했다.
• MoleculeNet-HIV에서 U-GN 모델은 AUC 0.769±0.015를 기록하여 베이스라인 GN 및 GCN를 초월했으며, 최신 기술 수준에 근접했다.
• QM9에서 바닐라 GN은 다른 모델보다 뛰어난 성능을 보였고, 초기 훈련 단계에서 스펙트럼 GCN는 바닐라 GCN보다 낮은 MAE를 기록했다.
• 100% 엣지 드롭아웃 조건에서 U-GN은 QM9의 13개 타겟 중 12개에서 표준 GN을 능가하여 강력한 강건성을 입증했다.
• 랜덤 데라운이 2D 그래프에서 U-GN 성능은 그래프 크가 증가함에 따라 향상되었으며, 이는 스펙트럼 메시지 전파가 기하학적 구조를 잘 포착함을 시사한다.
• 제거 실험 결과, 공간 메시지 전파를 제거하면 모든 데이터셋에서 성능 저하가 발생했고, 스펙트럼 메시지 전파의 기여는 특히 2D 데라운이 그래프에서 일관되게 높았다.