[논문 리뷰] Geometric and Physical Quantities Improve E(3) Equivariant Message Passing

J. Brandstetter, Rob Hesselink외 3명|arXiv (Cornell University)|2021. 10. 06.

Advanced Graph Neural Networks인용 수 41

한 줄 요약

논문은 SEGNNs를 소개한다. 이는 시연 가능한 벡터 공간과 Clebsch-Gordan 곱을 사용하여 메시지 및 업데이트 단계에 기하학적·물리적 양을 주입하는 일반적인 E(3) 등변 GNN 프레임워크로, 여러 물리/화학 벤치마크에서 최첨단 또는 경쟁력 있는 성능을 달성한다.

ABSTRACT

Including covariant information, such as position, force, velocity or spin is important in many tasks in computational physics and chemistry. We introduce Steerable E(3) Equivariant Graph Neural Networks (SEGNNs) that generalise equivariant graph networks, such that node and edge attributes are not restricted to invariant scalars, but can contain covariant information, such as vectors or tensors. This model, composed of steerable MLPs, is able to incorporate geometric and physical information in both the message and update functions. Through the definition of steerable node attributes, the MLPs provide a new class of activation functions for general use with steerable feature fields. We discuss ours and related work through the lens of equivariant non-linear convolutions, which further allows us to pin-point the successful components of SEGNNs: non-linear message aggregation improves upon classic linear (steerable) point convolutions; steerable messages improve upon recent equivariant graph networks that send invariant messages. We demonstrate the effectiveness of our method on several tasks in computational physics and chemistry and provide extensive ablation studies.

연구 동기 및 목표

• 노드와 간선 속성을 스칼라 외의 공변 정보(벡터, 텐서)로 확장하여 E(3) 등변성을 보존하면서 일반화시키는 것.
• 메시지 전달에 기하학적/물리적 양을 주입하기 위해 시연 가능한 MLP와 시연 가능한 활성화 함수를 도입하는 것.
• 비선형 컨볼루션으로서 등변 GNN에 대한 통합적 관점을 제시하고 성능을 높이는 주요 구성 요소를 식별하는 것.
• N-바디, QM9, OC20 데이터세트에서의 효과를 입증하고 광범위한 제거실험을 제공하는 것.

제안 방법

• V_L = V0 ⊕ V1 ⊕ ... ⊕ VL의 시연 가능한 벡터 공간과 Clebsch-Gordan 곱을 통해 기하학적 정보에 의해 선형 맵이 조건화되는 시연 가능한 MLP를 사용하는 것.
• 노드/간선 속성을 시연 가능한 벡터로 표현(상대 위치의 구면조화함수 임베딩 포함).
• 시연 가능한 간선 속성과 제곱 거리(distance)의 의존성을 가지는 메시지와 노드 속성으로 업데이트를 시연하는 비선형 시연 가능한 메시지 전달 정의.
• CG 텐서 곱을 위한 타입-l 시연 벡터로 벡터를 변환하기 위해 상대 위치에 대한 구면조화 임베딩을 포함.
• 비선형적이고 등변 처리를 가능하게 하는 시연 가능한 노드 속성으로의 활성화 함수를 제안하여 covariant 정보를 처리하는 것을 강화하는 것.
• SEGNN를 비선형 컨볼루션과 연결하고 선형 등변/컨볼루션 기반 기준과 비교하는 것.

실험 결과

연구 질문

• RQ1 GNN에서 노드 및 간선 속성을 스칼라를 넘어 공변 quantities(벡터, 텐서)로 확장하여 E(3) 등변성을 보존할 수 있는가?
• RQ2 물리/화학 작업에서 선형, 불변/시연 가능한 메시지 전달보다 비선형, 시연 가능한 메시지 전달 계층이 성능을 향상시키는가?
• RQ3 기하학적·물리적 양(예: 속도, 힘)이 분자 및 N-바디 문제에서 SEGNN 성능에 어떤 영향을 미치는가?
• RQ4 이 프레임워크에서 효과적인 E(3) 등변 GNN의 필수 구성 요소는 무엇인가?

주요 결과

• l_f = 1 및 l_a = 1인 SEGNN가 벤치마크 전반에서 최첨단 또는 경쟁력 있는 결과를 달성하며 여러 베이스라인을 능가한다.
• 기하학적 양(G)과 물리적 양(P)을 모두 포함(G+P)하는 것이 기하학적 정보만(G) 또는 불변 방식보다 성능을 크게 향상시킨다.
• 비선형 시연 컨볼루션은 선형 시연 메시지 전달 및 불변 메시지보다 이점을 제공한다.
• 상대 위치에 대한 구면조화 임베딩을 사용하면 시연 가능한 CG 기반 메시지 변환이 효과적으로 작동한다.
• SEGNN는 N-바디 작업, QM9, OC20 IS2RE에서 강력한 성능을 보여주며 회전/등변 일관성을 유지한다.