[논문 리뷰] RAW-GNN: RAndom Walk Aggregation based Graph Neural Network

Di Jin, Rui Wang외 5명|arXiv (Cornell University)|2022. 06. 28.

Advanced Graph Neural Networks인용 수 8

한 줄 요약

이 논문은 너비 우선 탐색(BFS) 및 깊이 우선 탐색(DFS) 랜덤 워크를 사용하여 경로 기반의 이웃을 생성함으로써 기존의 이웃 집합 기반 집합 방식을 대체하는 새로운 그래프 신경망인 RAW-GNN을 제안한다. RNN 기반 집합기와 주의 메커니즘을 활용해 동질성(BFS)과 이질성(DFS) 신호를 결합함으로써, RAW-GNN은 동질성 및 이질성 그래프 양쪽에서 최신 기술 성능(SOTA)을 달성하며, 이질성 데이터셋에서는 기존 방법 대비 최대 10.35% 향상된 성능을 보였다.

ABSTRACT

Graph-Convolution-based methods have been successfully applied to representation learning on homophily graphs where nodes with the same label or similar attributes tend to connect with one another. Due to the homophily assumption of Graph Convolutional Networks (GCNs) that these methods use, they are not suitable for heterophily graphs where nodes with different labels or dissimilar attributes tend to be adjacent. Several methods have attempted to address this heterophily problem, but they do not change the fundamental aggregation mechanism of GCNs because they rely on summation operators to aggregate information from neighboring nodes, which is implicitly subject to the homophily assumption. Here, we introduce a novel aggregation mechanism and develop a RAndom Walk Aggregation-based Graph Neural Network (called RAW-GNN) method. The proposed approach integrates the random walk strategy with graph neural networks. The new method utilizes breadth-first random walk search to capture homophily information and depth-first search to collect heterophily information. It replaces the conventional neighborhoods with path-based neighborhoods and introduces a new path-based aggregator based on Recurrent Neural Networks. These designs make RAW-GNN suitable for both homophily and heterophily graphs. Extensive experimental results showed that the new method achieved state-of-the-art performance on a variety of homophily and heterophily graphs.

연구 동기 및 목표

• 라벨이 다른 노드가 연결된 이질성 그래프에서 GCN의 한계를 해결하기 위해.
• 합산 연산자에 기반한 표준 GCN 집합 메커니즘에 내재된 암묵적 동질성 편향을 극복하기 위해.
• 단일 모델 내에서 동질성과 이질성 패턴을 효과적으로 포착할 수 있는 통합된 GNN 프레임워크를 개발하기 위해.
• 저조도 또는 무동질성 동질성을 보이는 다양한 실세계 그래프에서 노드 분류 성능을 향상시키기 위해.

제안 방법

• 이 방법은 동질성에 적합한 너비 우선 탐색(BFS)과 이질성에 적합한 깊이 우선 탐색(DFS)을 통해 경로 기반의 이웃을 생성한다.
• 표준 이웃 집합 기반 집합 방식을 대체하여, 랜덤 워크 경로를 따라 순서 있는 이웃 특징을 모델링하는 RNN 기반 순차 인코더를 도입한다.
• BFS 채널과 DFS 채널의 임베딩을 융합하기 위해 주의 메커니즘을 사용하여 동질성과 이질성 신호 간의 적응적 트레이드오프를 가능하게 한다.
• 전략별 임베딩을 연결하여 노드 표현을 형성함으로써 정보 혼합을 방지하고, 고유한 구조적 패턴을 유지한다.
• 노드 분류 작업을 위해 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 프레임워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 라벨 기반 또는 거리 기반 집합에 의존하지 않고도, 동질성 및 이질성 그래프를 효과적으로 처리할 수 있는 GNN 프레임워크는 가능한가?
• RQ2 랜덤 워크 기반의 경로 기반 이웃 구조는 이질성 우세 그래프에서 표현 학습을 향상시키는가?
• RQ3 표준 합산 또는 주의 기반 집합기보다 RNN 기반 집합기가 순서 있는 이웃 특징을 더 잘 모델링할 수 있는가?
• RQ4 BFS 및 DFS 채널의 주의 기반 융합 방식은 다양한 유형의 그래프에서 모델 성능에 어떤 영향을 미치는가?

주요 결과

• RAW-GNN은 실세계 데이터셋 7개 중 5개에서 최신 기술 성능(SOTA)을 달성하였으며, 특히 Texas, Wisconsin, Cornell, Actor의 4개 이질성 우세 네트워크 모두에서 성능을 확보했다.
• Actor 데이터셋에서 RAW-GNN은 두 번째로 우수한 성능을 보인 방법 대비 정확도를 10.35% 향상시켜, 이질성 환경에서 뚜렷한 우월성을 입증했다.
• Cora 데이터셋에서 RAW-GNN는 모든 베이스라인 중에서 가장 높은 정확도(84.86%)를 기록했으며, GCN과 GraphSAGE보다 각각 1.32%, 0.87% 높은 성능을 보였다.
• Cora에서의 시각화 결과, t-SNE 투영도에서 RAW-GNN는 클래스 혼합이 최소화된 가장 명확한 클래스 경계를 생성했다.
• 특성 동질성 비율(F.H.R)이 0.2 이하인 데이터셋에서는 최적의 경로 길이가 더 길어지며, 이는 이질성 그래프에서 숨겨진 이웃 구조를 포착하기 위해 더 큰 수신 필드가 필요함을 시사한다.