[논문 리뷰] Diffusion Improves Graph Learning

Johannes Gasteiger, Stefan Weißenberger외 1명|arXiv (Cornell University)|2019. 10. 28.

Advanced Graph Neural Networks인용 수 175

한 줄 요약

그래프 확산 컨볼루션(GDC)은 희소화된 일반화 그래프 확산을 도입하여 학습을 위한 더 풍부하고 국부적인 이웃을 생성하고, 다양한 GNN 및 그래프 모델에서 일관된 개선을 이끌어냅니다. 공간적 접근과 스펙트럴 접근을 연결하고 최소한의 오버헤드로 플러그앤 플레이가 가능합니다.

ABSTRACT

Graph convolution is the core of most Graph Neural Networks (GNNs) and usually approximated by message passing between direct (one-hop) neighbors. In this work, we remove the restriction of using only the direct neighbors by introducing a powerful, yet spatially localized graph convolution: Graph diffusion convolution (GDC). GDC leverages generalized graph diffusion, examples of which are the heat kernel and personalized PageRank. It alleviates the problem of noisy and often arbitrarily defined edges in real graphs. We show that GDC is closely related to spectral-based models and thus combines the strengths of both spatial (message passing) and spectral methods. We demonstrate that replacing message passing with graph diffusion convolution consistently leads to significant performance improvements across a wide range of models on both supervised and unsupervised tasks and a variety of datasets. Furthermore, GDC is not limited to GNNs but can trivially be combined with any graph-based model or algorithm (e.g. spectral clustering) without requiring any changes to the latter or affecting its computational complexity. Our implementation is available online.

연구 동기 및 목표

• 공간적(메시지 전달) 및 스펙트럴 그래프 방법의 강점을 1-hop 이웃을 넘어 확장된 집계로 조화시키기.
• 그래프 확산 컨볼루션(GDC)을 희소화된 확산 기반 그래프 변환으로 도입하고 형식화하기.
• 다양한 데이터셋에서 감독 및 비감독 작업 모두에서 GDC가 일관되게 성능을 개선함을 증명하기.
• GDC의 스펙트럴 특성 및 다항 필터와의 관계와 전통적인 확산 과정과의 관계를 분석하기.
• GDC가 플러그앤 플레이이며 컴퓨팅 복잡도를 변경하지 않고 모든 그래프 기반 모델이나 알고리즘과 호환됨을 보여주기.

제안 방법

• 일반화된 그래프 확산을 S = sum_{k=0}^{∞} θ_k T^k 로 정의하되 수렴을 보장하는 제약을 둔다.
• 확산을 모델링하기 위해 전이 행렬 T(예: 무작위 워크, 자기 루프를 가진 대칭형)를 사용한다.
• 희소화된 확산 행렬을 얻어 희소 그래프 Ŝ(상위-k 또는 ε-임계값) 및 Ŝ에 대응하는 전이 행렬을 계산한다.
• (S 또는 대칭 버전인) 희소화된 확산 그래프에서 표준 그래프 기반 모델을 적용하여 새로운 임베딩 또는 예측을 얻는다.
• ξ_j 계수를 통해 확산 기반 필터와 다항 필터 사이의 등가를 보여 주고(식 Eq. 4), PPR 및 열 커널(식 Eq. 5)과 같은 특수 사례를 시연하여 GDC를 스펙트럴 필터와 연결한다.
• 확산 단계가 국소성을 보존하고 선형 시간 근사를 가능하게 하며 비-GNN 모델(예: 스펙트럴 클러스터링)과도 호환됨을 입증한다.

실험 결과

연구 질문

• RQ1 그래프 확산 컨볼루션(GDC)이 광범위한 모델과 데이터셋에 걸쳐 일관되게 성능을 향상시키는가?
• RQ2 확산 행렬의 희소화가 스펙트럴 특성 및 학습 결과에 어떤 영향을 미치는가?
• RQ3 어떤 확산 계수 θ_k와 전이 행렬 T의 선택이 데이터셋에 독립적인 견고한 이득을 가져오는가?
• RQ4 GDC를 비-GNN 그래프 기반 방법과도 복잡도 변경 없이 효과적으로 통합할 수 있는가?
• RQ5 확산 기반 스무딩과 증가된 이웃 범위가 레이블 효율성 및 일반화에 어떤 영향을 미치는가?

주요 결과

• GDC는 여러 모델(GCN, GAT, JK, GIN, ARMA) 및 데이터셋(Cora, Citeseer, PubMed, Coauthor CS, Amazon Computers, Amazon Photo)에서 일관되게 정확도를 향상시킨다.
• 확산 행렬의 희소화는 계산을 줄일 뿐만 아니라 예측 정확도를 향상시키는 경우가 많다(상위-k 및 ε-임계값 방법).
• PPR 및 열 커널 기반 θ_k 계수는 데이터셋과 모델 전반에서 강건한 성능을 제공하며, 좁은 안정 구간에서 간단한 하이퍼파라미터를 가진다.
• GDC는 효과적 수용 영역을 확장하여 학습에 먼 노드가 영향을 주도록 하고, 낮은 라벨 비율에서도 성능을 향상시킨다.
• GDC는 특정 데이터셋에서 악화될 모델(GAT 등)을 교정할 수 있으며, 감독 및 비감독 설정 모두에서 클러스터링을 포함한 성능 향상이 관찰된다.