[논문 리뷰] On the Expressive Power of Geometric Graph Neural Networks

Chaitanya K. Joshi, Cristian Bodnar외 3명|arXiv (Cornell University)|2023. 01. 23.

Computational Drug Discovery Methods인용 수 24

한 줄 요약

논문은 기하학적 Weisfeiler-Leman(GWL) 테스트를 도입하여 기하 그래프의 표현력을 물리적 대칭 아래에서 특징짓고, 불변/공변 계층, 고차 텐서, 스칼라화가 기하 그래프의 판별에 어떻게 영향을 미치는지 분석한다.

ABSTRACT

The expressive power of Graph Neural Networks (GNNs) has been studied extensively through the Weisfeiler-Leman (WL) graph isomorphism test. However, standard GNNs and the WL framework are inapplicable for geometric graphs embedded in Euclidean space, such as biomolecules, materials, and other physical systems. In this work, we propose a geometric version of the WL test (GWL) for discriminating geometric graphs while respecting the underlying physical symmetries: permutations, rotation, reflection, and translation. We use GWL to characterise the expressive power of geometric GNNs that are invariant or equivariant to physical symmetries in terms of distinguishing geometric graphs. GWL unpacks how key design choices influence geometric GNN expressivity: (1) Invariant layers have limited expressivity as they cannot distinguish one-hop identical geometric graphs; (2) Equivariant layers distinguish a larger class of graphs by propagating geometric information beyond local neighbourhoods; (3) Higher order tensors and scalarisation enable maximally powerful geometric GNNs; and (4) GWL's discrimination-based perspective is equivalent to universal approximation. Synthetic experiments supplementing our results are available at \url{https://github.com/chaitjo/geometric-gnn-dojo}

연구 동기 및 목표

• 물리적 대칭 하에서 유클리드 공간에 내재된 기하 그래프의 표현력 연구의 필요성을 동기 부여한다.
• 순열, 회전, 반사, 평행이동을 존중하면서 기하 그래프를 구별하기 위한 기하적 변형 Weisfeiler-Leman 테스트(GWL) 개발.
• 기하 GNN의 표현력에 영향을 미치는 불변 대 공변 계층, 고차 텐서, 스칼라화의 설계 선택.
• GWL 구별 관점과 기하 GNN의 보편적 근사의 등가성 입증.
• 이론적 결과를 뒷받침하는 합성 실험 제공.

제안 방법

• 순열, 회전, 반사, 평행이동 대칭을 강제하면서 기하 그래프를 구별하기 위해 GWL을 정의한다.
• 불변 계층의 분석과 한 홉(one-hop) 동일한 기하 그래프를 구별하는 능력이 제한적임을 보인다.
• 공변 계층은 기하 정보를 지역 이웃을 넘어 전파하고 표현력을 증가시킨다.
• 고차 텐서와 스칼라화를 도입하여 최대 표현력을 달성한다.
• GWL 구별 관점이 기하 GNN의 보편적 근사와 동등하다는 것을 증명한다.

실험 결과

연구 질문

• RQ1 물리적 대칭에 불변인 GNN이 대칭을 존중하는 WL 테스트만큼 효과적으로 기하 그래프를 구별할 수 있는가?
• RQ2 불변 계층과 공변 계층이 기하 그래프를 구별하는 능력에서 어떻게 비교되는가?
• RQ3 고차 텐서와 스칼라화가 기하 GNN의 표현력 극대화에 어떤 역할을 하는가?
• RQ4 GWL 기반 구별 관점이 기하 GNN의 보편적 근사와 동등한가?

주요 결과

• 불변 계층은 표현력이 제한적이며 특정 한 홉 동일한 기하 그래프를 구별할 수 없다.
• 공변 계층은 지역 이웃을 넘어 기하 정보를 전파하여 더 큰 그래프 클래스를 구별한다.
• 고차 텐서와 스칼라화는 기하적으로 표현력이 최대인 GNN을 가능하게 한다.
• GWL의 구별 기반 관점은 기하 GNN의 보편적 근사와 일치한다.
• 합성 실험이 이론적 결과를 보강한다.