[논문 리뷰] SLAPS: Self-Supervision Improves Structure Learning for Graph Neural Networks

Bahare Fatemi, Layla El Asri외 1명|arXiv (Cornell University)|2021. 02. 09.

Advanced Graph Neural Networks인용 수 63

한 줄 요약

SLAPS는 작업 특화 잠재 그래프 구조의 학습을 개선하기 위한 자기 감독 목표를 도입하여 감독 신호가 부족한 문제를 해결하고 큰 그래프에 대한 확장을 가능하게 하며, 여러 벤치마크에서 기존 잠재 그래프 baselines를 능가합니다.

ABSTRACT

Graph neural networks (GNNs) work well when the graph structure is provided. However, this structure may not always be available in real-world applications. One solution to this problem is to infer a task-specific latent structure and then apply a GNN to the inferred graph. Unfortunately, the space of possible graph structures grows super-exponentially with the number of nodes and so the task-specific supervision may be insufficient for learning both the structure and the GNN parameters. In this work, we propose the Simultaneous Learning of Adjacency and GNN Parameters with Self-supervision, or SLAPS, a method that provides more supervision for inferring a graph structure through self-supervision. A comprehensive experimental study demonstrates that SLAPS scales to large graphs with hundreds of thousands of nodes and outperforms several models that have been proposed to learn a task-specific graph structure on established benchmarks.

연구 동기 및 목표

• 명시적 그래프 토폴로지가 이용 가능하지 않을 때 작업 특화 그래프 구조의 학습을 동기화합니다.
• 일반적인 잠재 그래프 학습 아래 라벨이 있는 노드에서 멀리 떨어진 에지들이 감독을 충분히 받지 못하는 것을 감독 부족(supervision starvation)으로 식별합니다.
• 자기 감독 소거(auto-denoising) 목표를 사용하여 인접 행렬과 GNN 매개변수를 공동으로 학습하는 SLAPS를 개발합니다.
• 수십만 개의 노드가 있는 그래프까지 확장 가능하고 벤치마크에서 baselines를 능가한다는 것을 입증합니다.

제안 방법

• 생성기, 인접 행렬 처리기, 분류기, 자기 감독을 포함하는 네 구성요소 모델을 제안합니다.
• 두 가지 생성기 변형(FP 및 MLP-kNN)을 사용하여 노드 특징으로부터 후보 인접 행렬을 생성합니다.
• 생성된 인접 행렬을 대칭이고 비음수으로 만들고 GCN 입력에 맞게 정규화합니다.
• 생성된 인접 행렬을 사용하여 마스킹된/잡음이 있는 특징을 재구성하는 자기 감독 소거 자동인코더 작업(GNN_DAE)을 도입하고, 결합 손실 L = L_C + lambda L_DAE로 SLAPS를 학습합니다.

실험 결과

연구 질문

• RQ1 자기 감독이 GNN의 잠재 그래프 학습에서 감독 부족 문제를 완화할 수 있을까요?
• RQ2 SLAPS가 표준 벤치마크에서 기존 잠재 그래프 baselines 대비 예측 성능을 향상시킬까요?
• RQ3 다른 그래프 생성기가 SLAPS의 성능과 확장성에 어떤 영향을 미치나요?
• RQ4 자기 감독이 SLAPS를 ogbn-arxiv와 같은 대형 그래프로 확장 가능하게 만들까요?

주요 결과

• SLAPS는 확립된 노드 분류 벤치마크에서 지속적으로 baselines를 능가합니다.
• 생성기 중에서 MLP-D는 특징이 풍부한 데이터셋에서 자주 우수하고, 반면 특징이 적은 데이터셋에서는 MLP가 더 나은 성능을 보입니다.
• 자기 학습을 통한 SLAPS는 더 큰 이익을 주고, AdaEdge의 영향은 데이터셋에 의존하며 SLAPS가 이미 동질성 그래프를 산출하는 경우에는 제한적입니다.
• ogbn-arxiv에서 기본 잠재 그래프 방법은 메모리 문제로 어려움을 겪거나 실패하는 반면, SLAPS는 확장 가능하고 경쟁력 있는 성능을 보입니다.
• MNIST 및 비그래프 데이터셋에서 SLAPS 변형은 LDS 및 IDGL을 포함한 강력한 Baselines를 상회하는 성능을 보입니다.