[논문 리뷰] Equivariant Subgraph Aggregation Networks

Beatrice Bevilacqua, Fabrizio Frasca외 6명|arXiv (Cornell University)|2021. 10. 06.

Advanced Graph Neural Networks참고 문헌 75인용 수 13

한 줄 요약

이 논문은 다중집합(multiset) 형태로 그래프를 표현하고, 동치성(invariant) 아키텍처를 통해 처리하는 새로운 그래프 신경망 프레임워크인 등변 하위그래프 집계 네트워크(ESAN)를 제안한다. ESAN은 기존 메시지 전달 신경망(MPNN)보다 더 강력한 표현력을 확보하며, 1-WL 기반 인코더만으로도 3-WL 테스트로 구분되지 않는 그래프도 구분할 수 있다. 이는 이론적으로 매우 뛰어난 표현력 향상을 입증한다. 동시에 하위그래프 샘플링과 효율적인 사전처리를 통해 계산 복잡도를 유의미하게 낮춰 대규모 그래프에 대한 실용적 적용을 가능하게 한다.

ABSTRACT

Message-passing neural networks (MPNNs) are the leading architecture for deep learning on graph-structured data, in large part due to their simplicity and scalability. Unfortunately, it was shown that these architectures are limited in their expressive power. This paper proposes a novel framework called Equivariant Subgraph Aggregation Networks (ESAN) to address this issue. Our main observation is that while two graphs may not be distinguishable by an MPNN, they often contain distinguishable subgraphs. Thus, we propose to represent each graph as a set of subgraphs derived by some predefined policy, and to process it using a suitable equivariant architecture. We develop novel variants of the 1-dimensional Weisfeiler-Leman (1-WL) test for graph isomorphism, and prove lower bounds on the expressiveness of ESAN in terms of these new WL variants. We further prove that our approach increases the expressive power of both MPNNs and more expressive architectures. Moreover, we provide theoretical results that describe how design choices such as the subgraph selection policy and equivariant neural architecture affect our architecture's expressive power. To deal with the increased computational cost, we propose a subgraph sampling scheme, which can be viewed as a stochastic version of our framework. A comprehensive set of experiments on real and synthetic datasets demonstrates that our framework improves the expressive power and overall performance of popular GNN architectures.

연구 동기 및 목표

• 메시지 전달 신경망(MPNN)의 제한된 표현력 문제를 해결하기 위해, 이는 최대한 웨이스플러러-레만(WL) 테스트 수준에 머무른다.
• MPNN의 한계와 고차원 WL 기반 아키텍처의 한계를 초월하는 이론적으로 더 강력한 GNN 프레임워크를 개발하기 위해.
• 하위그래프 수준의 표현을 활용하면서도 그래프 및 집합 대칭성에 대해 등변성을 유지하는 유연하고 확장 가능한 아키텍처를 설계하기 위해.
• 하위그래프 샘플링과 효율적인 사전처리를 통해 계산 비용을 줄여 대규모 그래프에서의 실용적 구현을 가능하게 하기 위해.

제안 방법

• 노드 제거, 엣지 제거, 에고 네트워크 등 정해진 선택 정책을 사용해 각 입력 그래프를 하위그래프의 다중집합(bag, multiset)으로 표현한다.
• 집합과 그래프의 대칭군의 직접곱을 고려한 등변 신경망을 구축하여, 하위그래프의 순열 및 각 하위그래프 내부의 자동형 변환에 대해 등변성을 보장한다.
• 각 하위그래프를 독립적으로 인코딩하기 위해 시아미즈 스타일의 GNN을 사용한 후, 집합 수준 연산을 통해 하위그래프 표현을 집계하는 정보 공유 모듈을 도입한다.
• 하위그래프 특징을 집계한 후, 집합 학습 모듈을 적용해 그래프 수준의 불변 표현을 생성하여 후속 작업에 활용한다.
• 계산 비용을 줄이기 위해 확률적 하위그래프 샘플링 기법을 도입하여 대규모 그래프에서의 스케일러블 학습을 가능하게 한다.
• 에지 제거 정책의 경우 O(nm) 이하, 에고 네트워크 정책의 경우 O(n(n+m)) 이하의 복잡도로 하위그래프 생성을 위한 효율적인 사전처리를 활용한다.

실험 결과

연구 질문

• RQ1 노드 수준의 특징 대신 하위그래프 수준의 구조를 인코딩함으로써, MPNN보다 더 높은 표현력을 갖는 GNN 아키텍처를 설계할 수 있는가?
• RQ2 하위그래프 선택 정책의 선택이 전체 아키텍처의 표현력과 계산 효율성에 어떤 영향을 미치는가?
• RQ3 1-WL 인코더를 기반으로 한 프레임워크가 3-WL 테스트의 표현력을 달성할 수 있는가? 만약 가능하면 어떤 조건에서 가능한가?
• RQ4 하위그래프 다중집합의 대칭군과 네트워크 내 등변 레이어 설계 간의 이론적 관계는 무엇인가?
• RQ5 하위그래프 샘플링을 어떻게 활용하면 대규모 그래프 학습에서 높은 성능를 유지하면서도 계산 비용을 줄일 수 있는가?

주요 결과

• ESAN은 1-WL 기반 인코더만으로도 3-WL 테스트로는 구분되지 않는 그래프를도 구분할 수 있어, 표현력 향상 측면에서 이론적으로 매우 뚜렷한 개선을 입증한다.
• 기존 MPNN 및 더 강력한 아키텍처인 PPGN 모두에 대해 표현력을 향상시켜, 더 넓은 적용 가능성을 보여준다.
• 노드 제거 및 엣지 제거 정책의 경우 ESAN의 시간 복잡도는 O(n)이며, 3-IGN 및 3-GNN를 능가하고, 희박한 하위그래프 샘플링 조건에서만 GSN과 동일한 복잡도를 보인다.
• 에지 제거 정책의 경우 공간 복잡도는 O(n²Δ_max)이며, DS-GNN를 활용해 온라인 하위그래프 임베딩 계산을 통해 O(n + nΔ_max)로 감소시킬 수 있다.
• 사전처리 복잡도는 에지 제거 정책의 경우 O(nm) 이하, 에고 네트워크 정책의 경우 O(n(n+m)) 이하로, 이는 이전 방법의 k-항 하위구조 탐색(O(n^k))에 비해 상당히 낮다.
• 실제 및 합성 데이터셋에서의 실험 결과는 ESAN이 다양한 벤치마크에서 성능 향상을 이끌어내며 이론적 우수성을 검증함을 확인한다.