[논문 리뷰] Sign and Basis Invariant Networks for Spectral Graph Representation Learning

Derek Lim, Joshua A. Robinson외 5명|arXiv (Cornell University)|2022. 02. 25.

Machine Learning in Materials Science인용 수 25

한 줄 요약

SignNet 및 BasisNet은 고유벡터의 부호 반전 및 기저 변화에 불변하는 신경 구조로, 고유벡터의 함수에 대한 보편 근사성을 가능케 하고 그래프, 분자 데이터, 메쉬에서 기존의 스펙트럴 방법들보다 우수합니다.

ABSTRACT

We introduce SignNet and BasisNet -- new neural architectures that are invariant to two key symmetries displayed by eigenvectors: (i) sign flips, since if $v$ is an eigenvector then so is $-v$; and (ii) more general basis symmetries, which occur in higher dimensional eigenspaces with infinitely many choices of basis eigenvectors. We prove that under certain conditions our networks are universal, i.e., they can approximate any continuous function of eigenvectors with the desired invariances. When used with Laplacian eigenvectors, our networks are provably more expressive than existing spectral methods on graphs; for instance, they subsume all spectral graph convolutions, certain spectral graph invariants, and previously proposed graph positional encodings as special cases. Experiments show that our networks significantly outperform existing baselines on molecular graph regression, learning expressive graph representations, and learning neural fields on triangle meshes. Our code is available at https://github.com/cptq/SignNet-BasisNet .

연구 동기 및 목표

• 그래프 표현에 사용되는 고유벡터의 부호와 기저의 모호성을 다룰 필요성을 동기 부여하고 형식화한다.
• SignNet 및 BasisNet 아키텍처를 도입하여 각각 부호 불변성과 기저 불변성을 달성한다.
• 이 네트워크들이 고유벡터의 광범위한 불변 함수들을 근사할 수 있음을 보이는 보편성 결과를 증명한다.
• 이 아키텍처들이 전통적 스펙트럴 그래프 합성 및 기존 위치 인코딩을 일반화하고 더 우수하게 동작함을 보여준다.
• 분자 그래프, 그래프 표현, 삼각 메쉬 신경장에서도 실험적 이점을 시연한다.

제안 방법

• 부호 불변성을 f(v1,...,vk) = f(s1 v1,..., sk vk) 으로 정의하고 si ∈ {−1,1}일 때 φ를 통해 h(v) = φ(v) + φ(−v) 를 산출하는 구성법을 도출한다.
• 고유공간 기저 V_i에 대해 V_i Q_i 이고 Q_i ∈ O(d_i)일 때 기저 불변성을 정의하고 φ_d_i(V_i V_i^T)와 IGN (invariant graph networks)을 함께 사용하여 순열 등가성을 달성한다.
• SignNet 제안: f(v1,...,vk) = ρ([φ(v_i) + φ(−v_i)]_i)에서 φ, ρ를 순열 등가 네트로 선택하고 필요에 따라 고유값 λ_i와 노드 특성 X를 확장한다.
• BasisNet 제안: f(V1,...,Vl) = ρ([IGN_d_i(V_i V_i^T)]_i)로 공유된 φ_d_i와 ρ를 두고 각 고유공간 내에서 기저 변화에 대한 불변성과 순열 등가성을 보장한다.
• 이론적 분해(정리 1)를 제시하여 공동 군 불변성을 각 고유공간 불변성으로 축소하고 모듈식 구성을 가능하게 한다.
• 스펙트럴 그래프 합성 및 스펙트럴 불변성과 비교하여 SignNet and BasisNet의 보편 근사 결과(정리 및 보충정리)를 제시한다.

실험 결과

연구 질문

• RQ1 SignNet와 BasisNet가 부호 및 기저 대칭 하에서 고유벡터의 모든 연속 불변 함수를 보편적으로 근사할 수 있는가?
• RQ2 SignNet와 BasisNet가 전통적 스펙트럴 그래프 합성 및 스펙트럴 GNN에 대해 엄밀히 일반화하고 때로는 더 우수한가?
• RQ3 이 네트워크와 기존 그래프 위치 인코딩 간의 표현력 및 근사 능력 측면의 관계는 무엇인가?
• RQ4 분자 그래프 회귀, 그래프 표현 학습, 및 메쉬상의 신경장에 대해 SignNet와 BasisNet이 경험적으로 어떻게 작동하는가?

주요 결과

• SignNet와 BasisNet는 경미한 조건하에서 부호 및 기저 불변성을 가진 고유벡터의 연속 함수들을 보편적으로 근사하는 근사자이다.
• 그들은 스펙트럴 그래프 합성의 일반화에 엄격히 기여하고 표준 스펙트럴 GNN이 구별하지 못하는 그래프 특성도 구별할 수 있는데, 일부 경우에는 이분그래프성 등의 속성을 포함한다.
• BasisNet은 그래프 각도 등 스펙트럴 불변성과 관련 순환 개수와 같은 스펙트럴 불변성을 보편적으로 근사할 수 있으며 전통적 불변성 및 WL 검사와도 연관된다.
• SignNet은 라플라시안 고유벡터, 열 커널, 임의 보행 등을 기반으로 한 기존의 많은 그래프 위치 인코딩을 재현하고 통합할 수 있다.
• 실험 결과 SignNet이 노드 위치 인코딩으로 사용될 때 분자 그래프 회귀(예: ZINC 데이터셋)에서 성능을 향상시키고, 여러 기본 모델에서 여러 최첨단 기준선들을 능가한다.
• 매니폴드상의 신경 필드에 SignNet을 적용하면 기준선과 비교해 지각적 지표에서 경쟁력 있거나 우수한 성능을 보인다.