[논문 리뷰] Geom-GCN: Geometric Graph Convolutional Networks

Hongbin Pei, Bingzhe Wei외 3명|arXiv (Cornell University)|2020. 02. 13.

Advanced Graph Neural Networks참고 문헌 30인용 수 117

한 줄 요약

Geom-GCN은 그래프를 잠재 공간에 매핑하여 구조적 이웃을 구축하고 장거리 의존성을 포착하는 기하학적 집계를 도입하여 다수의 그래프 벤치마크에서 최첨단 성능을 달성합니다.

ABSTRACT

Message-passing neural networks (MPNNs) have been successfully applied to representation learning on graphs in a variety of real-world applications. However, two fundamental weaknesses of MPNNs' aggregators limit their ability to represent graph-structured data: losing the structural information of nodes in neighborhoods and lacking the ability to capture long-range dependencies in disassortative graphs. Few studies have noticed the weaknesses from different perspectives. From the observations on classical neural network and network geometry, we propose a novel geometric aggregation scheme for graph neural networks to overcome the two weaknesses. The behind basic idea is the aggregation on a graph can benefit from a continuous space underlying the graph. The proposed aggregation scheme is permutation-invariant and consists of three modules, node embedding, structural neighborhood, and bi-level aggregation. We also present an implementation of the scheme in graph convolutional networks, termed Geom-GCN (Geometric Graph Convolutional Networks), to perform transductive learning on graphs. Experimental results show the proposed Geom-GCN achieved state-of-the-art performance on a wide range of open datasets of graphs. Code is available at https://github.com/graphdml-uiuc-jlu/geom-gcn.

연구 동기 및 목표

• 전통적인 MPNN의 두 가지 핵심 약점 해결: 노드 이웃의 구조 정보 손실과 이질적(비동조) 그래프에서 장거리 의존성을 포착하는 능력의 제한.
• 그래프 공간과 잠재 공간 모두에서 작동하는 기하학적 집계 스킴 제안.
• 구현(Geom-GCN)을 제공하고 다양한 그래프 데이터셋에서 검증.
• 그래프-공간과 잠재-공간 이웃의 기여를 이해하기 위한 ablations 분석.
• 다양한 그래프 토폴로지에 Geom-GCN을 맞추기 위한 임베딩 선택(Isomap, Poincare, struc2vec) 탐색.

제안 방법

• 세 모듈의 기하학적 집계 스킴 도입: 노드를 잠재 공간으로 매핑하는 노드 임베딩, 그래프 공간과 잠재 공간에서 정의된 구조적 이웃, 노드 특징을 업데이트하는 이중 수준 집계의 3-모듈 기하학적 집계 스킴.
• 반경 ρ 이내의 그래프 이웃 N_g(v)와 잠재 공간 이웃 N_s(v)를 정의하여 장거리 유사성 포착 가능.
• 잠재 공간 위치에 대한 관계 연산자 τ를 사용하여 이웃 쌍에 기하학적 관계 r을 할당; τ는 공간을 유한 집합 R로 분할.
• 낮은 수준의 집계 p를 서브 이웃(i,r)에서, 높은 수준의 집계 q를 가상 노드(i,r)에서 수행하여 h_v^{l+1}을 생성하고 순열 불변성을 보장.
• 임베딩 방법(Isomap, Poincare, struc2vec)을 선택하여 Geom-GCN-I, Geom-GCN-P, Geom-GCN-S를 내고, τ를 2D 유클리드 또는 하이퍼볼릭 공간으로 구현; p를 순열 불변 합으로, q를 연결(concatenation)으로 설정(마지막 층에서 최종 평균으로 포함).
• 2-layer GCN 스타일 아키텍처로 전이 가능한 노드 분류에서 방법 시연하고 GCN 및 GAT와 비교할 수 있습니다.

실험 결과

연구 질문

• RQ1 잠재 공간 기하학을 어떻게 활용하여 그래프 컨볼루션 도중 이웃의 구조 정보를 보존할 수 있는가?
• RQ2 잠재 공간 이웃이 비동조 그래프에서의 장거리 의존성을 순수 그래프 기반 이웃보다 더 효과적으로 포착할 수 있는가?
• RQ3 다양한 그래프 토폴로지에서 Geom-GCN의 성능에 미치는 Isomap, Poincare, struc2vec 등 서로 다른 임베딩 공간의 영향은 무엇인가?
• RQ4 그래프-공간 이웃과 잠재-공간 이웃을 모두 통합하면 단일 이웃 variant보다 일관된 개선을 가져오는가?
• RQ5 대형 그래프에서 기하학적 집계를 사용할 때 모델 복잡성과 성능 간의 트레이드오프는 어떻게 되는가?

주요 결과

• Geom-GCN은 GCN 및 GAT에 비해 다양한 공개 그래프 데이터셋에서 최첨단 성능을 달성합니다.
• Geom-GCN-P 변형(포인케어 임베딩)은 위계적 구조를 가진 그래프에서 특히 강한 결과를 보이는 경향이 있으며; 임베딩 선택이 성능에 큰 영향을 미칩니다.
• Isomap 기반 Geom-GCN-I가 거리 패턴 보존으로 이미 성능을 향상시키며, 잠재 공간 이웃의 결합은 여러 데이터셋에서 결과를 향상시킵니다.
• 절삭 연구에서 그래프 이웃과 잠재 공간 이웃이 모두 기여할 수 있지만, 어떤 경우에는 단일 이웃 Variant가 두 이웃 Variant보다 더 나은 경우가 있어, 향후 이웃 간 주의(attention)의 이점을 시사합니다.
• 실험은 잠재 공간 이웃이 특히 비동조 그래프에서 구조적으로 비슷하지만 먼 노드들로부터 메시지를 모아 장거리 의존성을 포착하는 데 도움이 됨을 보여줍니다.