[논문 리뷰] Geodesic Graph Neural Network for Efficient Graph Representation Learning

Lecheng Kong, Yixin Chen외 1명|arXiv (Cornell University)|2022. 10. 06.

Advanced Graph Neural Networks인용 수 9

한 줄 요약

이 논문은 단일 GNN 실행을 통해 지오데식(최단 경로) 정보를 통합함으로써 표현 학습을 향상시키는 새로운 GNN 프레임워크인 지오데식 그래프 신경망(GDGNN)을 제안한다. 이는 표현력과 효율성을 크게 향상시키며, 다중 런 서브그래프 기반 방법에 비해 상당히 감소된 런타임으로 다양한 그래프 학습 작업에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Graph Neural Networks (GNNs) have recently been applied to graph learning tasks and achieved state-of-the-art (SOTA) results. However, many competitive methods run GNNs multiple times with subgraph extraction and customized labeling to capture information that is hard for normal GNNs to learn. Such operations are time-consuming and do not scale to large graphs. In this paper, we propose an efficient GNN framework called Geodesic GNN (GDGNN) that requires only one GNN run and injects conditional relationships between nodes into the model without labeling. This strategy effectively reduces the runtime of subgraph methods. Specifically, we view the shortest paths between two nodes as the spatial graph context of the neighborhood around them. The GNN embeddings of nodes on the shortest paths are used to generate geodesic representations. Conditioned on the geodesic representations, GDGNN can generate node, link, and graph representations that carry much richer structural information than plain GNNs. We theoretically prove that GDGNN is more powerful than plain GNNs. We present experimental results to show that GDGNN achieves highly competitive performance with SOTA GNN models on various graph learning tasks while taking significantly less time.

연구 동기 및 목표

• 구조적으로 유사하지만 다른 서브그래프(예: 사이클 대 경로)를 구분하는 데에 표준 GNN의 제한된 표현력 문제를 해결하기 위해.
• 다중 GNN 런 또는 복잡한 서브그래프 레이블링이 필요한 기존 고표현력 GNN의 비효율성 문제를 해결하기 위해.
• 반복적 또는 서브그래프 기반 계산 없이 지오데식(최단 경로) 정보를 GNN에 통합하는 일반적이고 효율적인 프레임워크를 개발하기 위해.
• 단일 GNN 실행을 통해 유도된 지오데식 보강 특징에 기반한 조건부 구조적 맥락을 통한 노드, 링크, 그래프 표현의 풍부화를 위해.
• 사용자 정의 레이블링이나 다중 학습 런 없이도 지오데식 정보만으로도 노드, 링크, 그래프 수준 작업에서 높은 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• GDGNN는 표준 GNN 유닛(초기 노드 표현 학습용)과 지오데식 풀링 유닛(지오데식 보강 표현 추출용)으로 구성된다.
• 각 타겟 노드, 간선 또는 그래프에 대해, 모델은 그래프 거리 계산을 통해 작업에 적합한 지오데식—관련 노드 간 최단 경로—를 식별한다.
• 이 지오데식 경로에 있는 노드들의 GNN 임베딩을 풀링하여 조건부 구조적 맥락을 포함하는 지오데식 표현을 형성한다.
• 이 지오데식 표현은 최종 노드, 링크 또는 그래프 표현을 조건화하는 데 사용되어 1-WL 표현력 이상의 구조적 표현력을 향상시킨다.
• 프레임워크는 전체 그래프에 대한 단일 GNN 실행을 통해 엔드 투 엔드 학습이 가능하며, 반복적인 서브그래프 추출 및 GNN 추론을 피한다.
• 이 방법은 어떤 기본 GNN 아키텍처(GCN 또는 GIN 등)와도 통합 가능하여 성능 향상을 이끌 수 있다.

실험 결과

연구 질문

• RQ1 최단 경로에서 유도된 지오데식 정보를 다중 GNN 런이나 서브그래프 레이블링 없이 GNN 표현을 향상시키는 데 사용할 수 있는가?
• RQ2 지오데식 보강 표현에 기반한 조건부 처리가 표준 GNN보다 더 높은 표현력을 가지는가? 특히 비이sovolumetric 서브스트럭처를 구분하는 데서 특히 그렇다.
• RQ3 지오데식 풀링을 사용하는 단일 GNN 런이 노드, 링크, 그래프 수준 작업에서 경쟁력 있는 성능을 달성하면서도 높은 효율성을 유지할 수 있는가?
• RQ4 복잡한 서브그래프 레이블링 또는 고차원 메시지 전달에 의존하는 최신 기술 수준의 GNN과 비교해 GDGNN의 성능은 어떠한가?
• RQ5 지오데식 기반 조건부 표현은 실제 세계 그래프에서 위치 및 구조적 정보를 충분히 포착할 수 있는가?

주요 결과

• OGBG-MOLPCBA 데이터셋에서 GDGNN은 GDGIN을 사용해 테스트 정확도 28.59%를 달성하여 베이스라인 GIN(27.03%)과 LSPE(28.40%)를 모두 앞서며 최신 기술 수준 성능을 기록했다.
• TU cora 데이터셋에서 GDGIN은 그래프 분류 작업에서 77.8%의 정확도를 기록했으며, Nested-GIN(77.8%)과 동일한 성능을 내며 GIN(71.6%)보다 뚜렷이 향상된 성능을 보였다.
• USA-Airport 데이터셋에서의 노드 분류 작업에서 GDGIN은 64.36%의 정확도를 기록해 DE-GNN(64.16%)과 GIN(57.43%)를 모두 앞서며 표현력 향상을 입증했다.
• GDGNN는 높은 효율성을 유지하며 전체 그래프에 대한 단일 GNN 런만 필요로 하여, 서브그래프 기반 방법이 그래프 크기의 수백 배에 달하는 계산을 요구하는 것에 비해 런타임을 크게 감소시켰다.
• 합성 데이터셋에서 4층의 GDGNN은 EXP 및 CSL 작업 모두에서 100% 정확도를 기록했으며, 이는 유니버설 PF-GNN의 성능을 그대로 재현함으로써 이론적 표현력의 타당성을 입증했다.
• 제거 분석 결과, 지오데식 기반 조건부 처리가 특히 노드 간 상대적 구조적 관계를 포착하는 데 있어 성능 향상에 크게 기여하는 것으로 확인되었다.