[논문 리뷰] Ordered Subgraph Aggregation Networks

Chendi Qian, Gaurav Rattan외 3명|arXiv (Cornell University)|2022. 06. 22.

Advanced Graph Neural Networks인용 수 8

한 줄 요약

이 논문은 유한한 서브그래프 집합을 학습 가능한 데이터 기반 샘플링을 통해 모델링함으로써 서브그래프 강화 GNN을 포괄하고 확장하는 통합 이론적 프레임워크인 순서화된 서브그래프 집계 네트워크(k-OSANs)를 소개한다. 주요 기여는 서브그래프 크기를 증가시킬수록 표현 능력이 일관되게 향상됨을 보여주는 것으로, 유연한 서브그래프 샘플링을 통한 미분 가능 서브그래프 샘플링(I-MLE 기반)을 통해 비데이터 기반 기준보다 정확도 향상과 계산량 감소를 경험적으로 입증하였다.

ABSTRACT

Numerous subgraph-enhanced graph neural networks (GNNs) have emerged recently, provably boosting the expressive power of standard (message-passing) GNNs. However, there is a limited understanding of how these approaches relate to each other and to the Weisfeiler-Leman hierarchy. Moreover, current approaches either use all subgraphs of a given size, sample them uniformly at random, or use hand-crafted heuristics instead of learning to select subgraphs in a data-driven manner. Here, we offer a unified way to study such architectures by introducing a theoretical framework and extending the known expressivity results of subgraph-enhanced GNNs. Concretely, we show that increasing subgraph size always increases the expressive power and develop a better understanding of their limitations by relating them to the established $k ext{-}\mathsf{WL}$ hierarchy. In addition, we explore different approaches for learning to sample subgraphs using recent methods for backpropagating through complex discrete probability distributions. Empirically, we study the predictive performance of different subgraph-enhanced GNNs, showing that our data-driven architectures increase prediction accuracy on standard benchmark datasets compared to non-data-driven subgraph-enhanced graph neural networks while reducing computation time.

연구 동기 및 목표

• 다양한 서브그래프 강화 GNN 아키텍처를 동일한 이론적 프레임워크 아래 통합하고 분석하기.
• 서브그래프 강화 GNN과 표현 능력 측면에서 k-WL 계층 간의 관계를 명확히 하기.
• 고정된 히وري스틱이나 완전한 순열 탐색을 피하기 위해 데이터 분포에 적응하는 데이터 기반의 서브그래프 샘플링 방법 개발하기.
• 학습 가능한 서브그래프 샘플링이 예측 정확도를 향상시키고 계산 비용을 절감함을 표준 벤치마크에서 경험적으로 검증하기.

제안 방법

• 서브그래프를 순서화된 정점 집합으로 모델링하고 학습 가능한 함수를 통해 표현을 집계함으로써 서브그래프 강화 GNN을 일반화하는 이론적 프레임워크인 k-OSANs를 제안한다.
• 각 서브그래프 내에서 메시지 전달 메커니즘을 사용하며, 정점 표현은 이웃 집합의 집계 기반으로 업데이트되고, 표시된 정점(예: 삭제되거나 강조된 정점)은 지표 특성으로 인코딩된다.
• I-MLE 프레임워크를 통한 미분 가능한 서브그래프 샘플링을 활용하여, 편향 기반 기울기 추정을 통해 이산적 서브그래프 선택에 대한 역전파를 가능하게 한다.
• 더 큰 서브그래프(높은 k)를 갖는 계층적 아키텍처를 도입하여, 더 높은 표현 능력을 보장하며, 표현 능력의 상한선으로 (k+1)-WL을 갖는다.
• 모든 서브그래프 표현에 대한 글로벌 집계 함수를 정의하여, 정점 수준 및 그래프 수준의 예측을 모두 가능하게 한다.
• 서브그래프 정책을 프레임워크의 특정 설정으로 인코딩함으로써 기존의 서브그래프 강화 GNN(예: DS-GNNs, kernelGNNs, nestedGNNs)을 k-OSANs로 시뮬레이션할 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 서브그래프 강화 GNN은 표현 능력 측면에서 k-WL 계층과 어떻게 관련이 있는가?
• RQ2 서브그래프 크기를 증가시키는 것으로 GNN의 표현 능력을 일관되게 향상시킬 수 있는가?
• RQ3 성능 향상과 효율성 향상을 위해 서브그래프 선택을 데이터 기반, 미분 가능한 방식으로 학습시킬 수 있는가?
• RQ4 실제로 데이터 기반 서브그래프 샘플링 전략은 균일 샘플링이나 수작업으로 설계된 히وري스틱 전략과 어떻게 비교되는가?
• RQ5 k-OSANs의 표현 능력 상한선은 무엇이며, k-WL과 비교해보면 어떠한가?

주요 결과

• k-OSANs에서 서브그래프 크기 k를 증가시킬수록 표현 능력이 일관되게 향상되며, 이를 통해 적절한 계층을 형성한다.
• k-OSANs의 표현 능력은 (k+1)-WL로 상한선이 설정되며, k-WL과는 상호 비교가 불가능하여 독립적이고 잠재적으로 더 유연한 표현 능력을 가짐을 시사한다.
• 제안된 데이터 기반 k-OSANs는 표준 그래프 벤치마크 데이터셋에서 비데이터 기반 서브그래프 강화 GNN보다 높은 예측 정확도를 달성한다.
• 정확도 향상에도 불구하고, 데이터 기반 k-OSANs의 계산 시간은 완전한 서브그래프 순열 탐색 기반 기준보다 크게 감소한다.
• 적절한 파rameterization을 통해 기존의 서브그래프 강화 GNN(예: DS-GNNs, kernelGNNs, 에고넷 기반 모델 등)을 성공적으로 포괄하고 일반화한다.
• 경험적 결과는 I-MLE 기반의 미분 가능한 서브그래프 샘플링이 효과적이고 효율적인 학습을 가능하게 하며, 무작위 또는 히وري스틱 기반 서브그래프 선택 전략보다 뛰어난 성능을 보임을 확인한다.