[논문 리뷰] Expander Graph Propagation

Andreea Deac, Marc Lackenby외 1명|arXiv (Cornell University)|2022. 10. 06.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 전이 그래프를 효율적으로 구성할 수 있는 확산 그래프(특히 SL(2,ℤₙ)의 카일리 그래프)를 활용하여 선형 시간 및 공간 복잡도로 전역적이고 병목 현상이 없는 메시지 전파를 가능하게 하는 새로운 GNN 방법인 확산 그래프 전파(EGP)를 제안한다. 음의 곡률을 가진 간선을 사용함에도 불구하고 EGP는 오버스쿼시ング을 피하고 아키텍처 수정이나 입력 전처리 없이 OGB 벤치마크에서 최신 성능을 달성한다.

ABSTRACT

Deploying graph neural networks (GNNs) on whole-graph classification or regression tasks is known to be challenging: it often requires computing node features that are mindful of both local interactions in their neighbourhood and the global context of the graph structure. GNN architectures that navigate this space need to avoid pathological behaviours, such as bottlenecks and oversquashing, while ideally having linear time and space complexity requirements. In this work, we propose an elegant approach based on propagating information over expander graphs. We leverage an efficient method for constructing expander graphs of a given size, and use this insight to propose the EGP model. We show that EGP is able to address all of the above concerns, while requiring minimal effort to set up, and provide evidence of its empirical utility on relevant graph classification datasets and baselines in the Open Graph Benchmark. Importantly, using expander graphs as a template for message passing necessarily gives rise to negative curvature. While this appears to be counterintuitive in light of recent related work on oversquashing, we theoretically demonstrate that negatively curved edges are likely to be required to obtain scalable message passing without bottlenecks. To the best of our knowledge, this is a previously unstudied result in the context of graph representation learning, and we believe our analysis paves the way to a novel class of scalable methods to counter oversquashing in GNNs.

연구 동기 및 목표

• 전체 그래프 분류 작업을 위한 그래프 신경망(GNN)에서 전역 정보 전파의 과제를 해결한다.
• 깊은 GNN에서 발생하는 오남용 및 병목 현상과 같은 비정상적 행동을 해결하면서도 선형 시간 및 공간 복잡도를 유지한다.
• 입력에 특화된 전처리가 필요 없고 기존 GNN 아키텍처에 쉽게 통합될 수 있는 방법을 개발한다.
• 음의 곡률이 메시지 전파에 미치는 영향과 오버스쿼시ング과의 관계를 이론적이고 실증적으로 조사한다.
• 확산 그래프의 음의 곡률을 가진 간선이 오버스쿼시를 유발하지 않으며, 확장 가능한 통신을 위해 필수적일 수 있음을 입증한다.

제안 방법

• 특수선형군 SL(2,ℤₙ)의 카일리 그래프를 사용하여 희박하고 4-정규인 확산 그래프를 구성하며, 이는 로그 길이의 지름을 가지며 효율적으로 사전 계산 가능하다.
• 사전 계산된 확산 그래프를 고정된 메시지 전파 템플릿으로 사용하여, GNN 레이어가 노드 특징을 전파함으로써 전역적 맥락 집합을 달성한다.
• 기존 GNN 아키텍처(예: GIN)에 EGP 레이어를 삽입함으로써 모델의 파rameter 수나 잠재 차원 수를 변경하지 않고 통합한다.
• 특수선형군의 이론적 결과를 활용하여 확산 그래프가 희박하고 고도로 연결되어 있으며, 지름이 작다는 것을 보장한다.
• 곡률 분석을 통해 확산 그래프의 간선은 음의 곡률을 가지지만, 곡률 크기가 유한하므로 이전 연구에서 규명된 오버스쿼시 조건을 유발하지 않음을 보여준다.
• 오픈 그래프 벤치마크(OGB)를 활용하여 분자의 성질 예측, 단백질 상호작용 네트워크, 코드 요약 작업 등 다양한 데이터셋에서 EGP를 평가한다.

실험 결과

연구 질문

• RQ1 확산 그래프는 전역적 정보 흐름을 가능하게 하며, 이는 이중 복잡도 없이 확장 가능한 고정된 메시지 전파 템플릿으로 사용될 수 있는가?
• RQ2 기존 연구에서 음의 곡률이 오버스쿼시와 관련이 있다고 보고한 바에도 불구하고, 확산 그래프의 음의 곡률 간선이 오버스쿼시를 유발하지 않는 이유는 무엇인가?
• RQ3 EGP는 아키텍처 수정 없이도 표준 GNN에 통합될 수 있으며, 그래프 분류 작업에서 성능 향상을 이끌 수 있는가?
• RQ4 확산 그래프를 통신 배경으로 사용하는 것이 병목 현상을 피하고 선형 복잡도를 유지하는 데 이론적으로 타당한가?
• RQ5 실제 벤치마크에서 EGP의 경험적 성능은 표준 GNN 및 기타 오버스쿼시 완화 방법을 초월하는가?

주요 결과

• EGP는 모델 파라미터나 잠재 차원을 변경하지 않고도 네 가지 OGB 데이터셋—ogbg-molhiv (+3.76%), ogbg-molpcba (+2.78%), ogbg-ppa (+1.96%), ogbg-code2 (+0.13%)—에서 뚜렷한 성능 향상을 달성한다.
• EGP 레이어는 소형 분자, 대규모 구문 트리, 단백질-단백질 상호작용 네트워크 등 다양한 그래프 유형에서 기준선 GIN 모델을 일관되게 능가한다.
• 이론적 분석 결과, 구성된 확산 그래프의 간선은 음의 곡률을 가지지만, 곡률 크기가 이전 연구에서 규명된 오버스쿼시 조건을 충족하지 못하므로 오버스쿼시를 유발하지 않는다.
• SL(2,ℤₙ)의 카일리 그래프는 희박하다(|E| = O(|V|)), 4-정규이며, 로그 길이의 지름을 가지므로 O(log |V|) 횟수의 점프로 효율적인 전역 통신이 가능하다.
• EGP는 입력에 특화된 전처리가 필요 없으며, 단순한 레이어 삽입을 통해 기존 GNN 아키텍처에 원활하게 통합될 수 있다.
• 경험적 결과는 EGP가 확산 구조를 통해 장거리 정보 흐름을 가능하게 하여 깊은 GNN에서도 병목 현상과 오버스쿼시를 효과적으로 완화함을 보여준다.