[논문 리뷰] Leave Graphs Alone: Addressing Over-Squashing without Rewiring

Domenico Tortorella, Alessio Micheli|arXiv (Cornell University)|2022. 12. 13.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 그래프 에코 상태 네트워크(GESNs)를 제안하며, 그래프 연결성을 변경하지 않고도 여섯 가지 이질적 노드 분류 작업에서 최신 기술 성능을 달성하는 리저보아르 컴퓨팅 접근법을 제공한다. 메시지 전파 함수의 리프시츠 상수를 리저보아르 반경과 입력 스케일링을 통해 명시적으로 조절함으로써 GESNs는 과도한 압축을 방지하고, 그래프 재구성 방법보다 최대 16% 높은 정확도를 달성한다. 이는 업데이트 함수의 수축성(contractivity)이 깊은 GNN 성능의 핵심 요소임을 보여준다.

ABSTRACT

Recent works have investigated the role of graph bottlenecks in preventing long-range information propagation in message-passing graph neural networks, causing the so-called `over-squashing' phenomenon. As a remedy, graph rewiring mechanisms have been proposed as preprocessing steps. Graph Echo State Networks (GESNs) are a reservoir computing model for graphs, where node embeddings are recursively computed by an untrained message-passing function. In this paper, we show that GESNs can achieve a significantly better accuracy on six heterophilic node classification tasks without altering the graph connectivity, thus suggesting a different route for addressing the over-squashing problem.

연구 동기 및 목표

• 장거리 정보가 감도가 지수적으로 감소하는 이유로 인해 깊은 그래프 신경망에서 장거리 정보 전파가 실패하는 과도한 압축 문제를 해결하기 위해.
• 메시지 전파 함수의 리프시츠 상수를 수정하는 것이 그래프 재구성보다 과도한 압축을 더 효과적으로 완화할 수 있는지 조사하기 위해.
• 학습되지 않은, 비지도 학습 기반의 리저보아르 컴퓨팅 모델이 사전 처리된 재구성 여부에 관계없이 지도 학습 기반의 모델보다 성능이 뛰어나게 되는지 평가하기 위해.
• 노드 표현 품질이 깊이나 그래프 구조 외에도 메시지 전파 함수의 수축성에 의해 결정된다는 것을 입증하기 위해.

제안 방법

• GESNs는 h_v^(k) = tanh(W_in * x_v + sum_{v' in N(v)} W_hat * h_v'^(k-1))로 정의된 반복적이고 학습되지 않은 메시지 전파 메커니즘을 사용하며, 초기값 h_v^(0) = 0으로 설정된다.
• 리저보아르 반경 ρ는 순환 가중치 행렬 W_hat의 리프시츠 상수를 제어하여 수축성의 명시적 조정을 가능하게 한다.
• W_in에 대한 입력 스케일링은 하이퍼파rameter로 간주되며, 백프로파게이션을 통한 학습을 방지하기 위해 학습되지 않는다.
• 노드 임베딩은 수렴할 때까지 반복적으로 계산되며, 최종 상태가 표현으로 사용되며, 메시지 전파 함수의 학습을 피한다.
• 노드 분류를 위해 최종 리저보아르 상태에 대해 리지 회귀 읽기 헤드를 학습시킨다.
• 이 방법은 그래프 재구성 없이 완전히 작동하며, 원본 연결성을 유지하고 초당으로 빠른 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 메시지 전파 함수의 리프시츠 상수를 제어하는 것이 그래프 재구성보다 과도한 압축을 더 효과적으로 완화할 수 있는가?
• RQ2 학습되지 않은, 비지도 학습 기반의 리저보아르 컴퓨팅 모델이 이질적 노드 분류 작업에서 지도 학습 기반 GNN보다 성능이 뛰어나게 되는가?
• RQ3 메시지 전파 함수의 수축성이 깊은 GNN에서 노드 표현 품질과 일반화 능력에 어떤 영향을 미치는가?
• RQ4 리저보아르 반경과 입력 스케일링이 모델 성능에 어떤 영향을 미치며, 백프로파게이션 없이도 효과적으로 조정될 수 있는가?

주요 결과

• GESNs는 최고의 재구성 방법(SDRF 및 DIGL)보다 평균 4–6% 높은 정확도를 기록했으며, 일부 작업에서는 최대 16% 향상된 성능을 보였다. 모든 기준 모델보다 뛰어난 성능을 달성했다.
• 모델은 메시지 전파 함수의 학습이나 그래프 재구성 없이도 여섯 가지 이질적 노드 분류 벤치마크에서 최신 기술 성능을 달성했다.
• 충분히 큰 리저보아르 반경 ρ > 1/α가 높은 정확도를 위해 필수적임을 보여주며, 이는 리프시츠 상수 제어가 과도한 압축을 방지하는 데 필수적임을 시사한다.
• 반복 과정을 거치며 노드 임베딩은 점점 더 분리 가능해지며, 표준 GCN과 달리 붕괴나 과도한 스무딩 현상이 발생하지 않았다.
• 모든 모델은 GPU에서 초당으로 학습 및 평가가 가능하며, SDRF 재구성은 수분에서 수시간이 소요되는 반면, 이는 계산 효율성의 우수함을 보여준다.
• 결과는 메시지 전파 함수의 수축성(리프시츠 상수로 제어됨)이 깊은 GNN 성능에서 그래프 구조보다 더 중요한 요소임을 시사한다.