[논문 리뷰] Non-convolutional Graph Neural Networks

Yuanqing Wang, Kyunghyun Cho|arXiv (Cornell University)|2024. 07. 31.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

RUM은 컨볼루션-프리 GNN으로, 랜덤 워크와 RNN을 사용해 의미적 및 위상 그래프 특징을 통합하고, WL보다 표현력이 높으며 과도한 평활화와 과도한 압축을 완화하는 한편 GPU에서 확장 가능하고 빠르게 작동합니다.

ABSTRACT

Rethink convolution-based graph neural networks (GNN) -- they characteristically suffer from limited expressiveness, over-smoothing, and over-squashing, and require specialized sparse kernels for efficient computation. Here, we design a simple graph learning module entirely free of convolution operators, coined random walk with unifying memory (RUM) neural network, where an RNN merges the topological and semantic graph features along the random walks terminating at each node. Relating the rich literature on RNN behavior and graph topology, we theoretically show and experimentally verify that RUM attenuates the aforementioned symptoms and is more expressive than the Weisfeiler-Lehman (WL) isomorphism test. On a variety of node- and graph-level classification and regression tasks, RUM not only achieves competitive performance, but is also robust, memory-efficient, scalable, and faster than the simplest convolutional GNNs.

연구 동기 및 목표

• 합성곱 기반 GNN에서 표현력의 한계, 과도한 평활화 및 과도한 압축 문제를 해결하기 위해 그래프 신경망을 재검토하도록 동기를 부여한다.
• 위상적 워크 정보와 의미적 워크 정보를 통합하는 컨볼루션-프리 모듈을 제안한다.
• 이론적으로 그리고 실증적으로 RUM의 기존 GNN 대비 우수한 표현력과 강건성을 보여준다.
• 노드 수준 및 그래프 수준 작업에서 RUM의 효율성, 확장성, 경쟁력 있거나 우수한 성능을 시연한다.

제안 방법

• 각 노드에서 종료되는 랜덤 워크를 구성하고 익명 실험을 통해 그들의 위상 환경을 설명한다.
• φx, φu, 및 f를 사용하는 통합 메모리 함수로 의미적 워크 임베딩과 위상 워크 지수를 합친다.
• 샘플링된 l-스텝 워크를 통해 몬테 카를로 가중치를 적용하여 노드 표현을 집계하고 노드 수준 작업을 위한 ψ(v)를 얻는다.
• 선택적으로 노드 표현을 풀링하여 그래프 수준 작업을 위한 전역 그래프 표현 Ψ(𝒢)을 형성한다.
• 모델의 순열 등가성을 보장하고 RNN 기반 시퀀싱으로 이웃 크기에 비례하지 않는 일정한 매개변수 수를 강조한다.

Figure 1: RUM can (in closed form), whereas the Weisfeiler-Lehman (WL) isomorphism test and WL-equivalent GNNs cannot , distinguish these two graphs— an illustration of Example 8.1 .

실험 결과

연구 질문

• RQ1 RUM은 충분히 긴 랜덤 워크를 통해 비동형 그래프를 구분할 수 있으며 WL 테스트 능력을 능가한다.
• RQ2 컨볼루션-프리 구조가 전통적인 GNN에서 나타나는 과도한 평활화와 과도한 압축을 완화하는가?
• RQ3 표준 벤치마크에서 RUM이 합성곱 GNN보다 더 빠르고 강건한가?
• RQ4 RUM은 대규모 그래프와 조밀한 그래프에 얼마나 잘 확장하는가?

주요 결과

• RUM은 충분히 긴 랜덤 워크를 통해 비동형 그래프를 구분할 수 있으며 WL 테스트 능력을 능가한다.
• RUM은 워크를 따라 Dirichlet energy를 유지하고 비수축적 매핑을 사용함으로써 과도한 평활화를 완화한다.
• RUM은 과도한 압축을 감소시키고 합성곱 GNN과 비교했을 때 우호적인 그래디언트 동작을 보인다.
• RUM은 벤치마크 전반에 걸쳐 노드 및 그래프 작업에서 경쟁력 있거나 우수한 성능을 보여주고 간단한 GCN보다 GPU에서 더 빠르다.
• RUM은 그래프 섭동에 대한 강건성을 보이고 대규모 그래프에 효과적으로 확장되며 매우 조밀한 그래프에서는 한계가 있다.

Figure 2: RUM alleviates over-smoothing . Dirichlet energy ( $\mathcal{E}$ ) on Cora [ 45 ] graph plotted against $L$ , the number of steps or layers.