[논문 리뷰] SLAPS: Self-Supervision Improves Structure Learning for Graph Neural Networks

Bahare Fatemi, Layla El Asri외 1명|arXiv (Cornell University)|2021. 02. 09.

Advanced Graph Neural Networks참고 문헌 72인용 수 25

한 줄 요약

SLAPS는 자기지도 denoising 작업을 사용하여 인접성 및 GNN 매개변수를 공동으로 학습하고, 잠재 그래프 학습에서 감독 신호 부족(supervision starvation)을 완화하여 대형 그래프에서 강력한 성능을 달성합니다.

ABSTRACT

Graph neural networks (GNNs) work well when the graph structure is provided. However, this structure may not always be available in real-world applications. One solution to this problem is to infer a task-specific latent structure and then apply a GNN to the inferred graph. Unfortunately, the space of possible graph structures grows super-exponentially with the number of nodes and so the task-specific supervision may be insufficient for learning both the structure and the GNN parameters. In this work, we propose the Simultaneous Learning of Adjacency and GNN Parameters with Self-supervision, or SLAPS, a method that provides more supervision for inferring a graph structure through self-supervision. A comprehensive experimental study demonstrates that SLAPS scales to large graphs with hundreds of thousands of nodes and outperforms several models that have been proposed to learn a task-specific graph structure on established benchmarks.

연구 동기 및 목표

• 레이블이 있는 노드에서 벗어난 간선들이 충분한 지도를 받지 못하는 잠재 그래프 학습에서의 감독 신호 부족 문제를 식별한다.
• 구조 학습을 개선하기 위해 노드 특징을 잡음 제거로 보정하는 자기지도 작업으로 인접성 학습을 규제한다.
• 생성, 인접처리, 분류 및 자기지도 학습을 통합한 잠재 그래프 학습 모델 SLAPS를 개발한다.
• 수백만 개의 노드가 있는 그래프에서도 SLAPS가 확장 가능하고 다양한 벤치마크에서 기존 잠재 그래프 기준선보다 우수함을 보여준다.

제안 방법

• 생성기 G를 제안하여 노드 특징 X로부터 밀집 인접성 tilde{A}를 출력하며 두 가지 변형을 제공한다: FP(완전 매개변수화 인접성) 및 MLP-kNN(MLP 출력 후 kNN으로 희소화).
• tilde{A}를 대칭 함수 P와 차수 정규화를 통해 대칭적이고 음이 아닌 정규화된 인접성 A로 처리한다.
• A와 X를 입력으로 받아 분류 로짓을 생성하고交叉 엔트로피 손실 L_C를 계산하는 분류기 GNN_C(2층 GCN)를 사용한다.
• 노이즈가 있는 X와 A를 입력으로 받아 X를 복구하기 위해 L_DAE를 최소화하는 자기지도 잡음 제거 자동인코더 GNN_DAE를 도입하여 인접성 학습을 특징 예측 구조로 안내한다.
• SLAPS를 L = L_C + lambda * L_DAE를 최소화하여 감독 분류와 자기지도 구조 학습 간의 균형을 맞춰 학습시킨다.

실험 결과

연구 질문

• RQ1 자기지도 학습이 GNN의 잠재 그래프 학습에서 감독 신호 부족 현상을 해소할 수 있는가?
• RQ2 잡음 제거 기반의 자기지도 작업 도입이 추론된 인접성의 품질과 다운스트림 분류에 도움이 되는가?
• RQ3 SLAPS가 대규모 그래프로 확장되며 다양한 벤치마크에서 기존 잠재 그래프 기준선과 어떻게 비교되는가?
• RQ4 데이터셋 특성에 따라 어떤 생성기 변형(FP vs MLP-kNN)이 더 적합한가?
• RQ5 SLAPS와 결합될 때 자체 학습(Self-training)이나 AdaEdge와 같은 추가 기술의 영향은 어떻게 나타나는가?

주요 결과

Model	Cora	Citeseer	Cora390	Citeseer370	Pubmed	ogbn-arxiv
MLP	56.1 ± 1.6	56.7 ± 1.7	65.8 ± 0.4	67.1 ± 0.5	71.4 ± 0.0	54.7 ± 0.1
MLP-GAM*	70.7^†	70.3^†	-	-	71.9^†	-
LP	37.6 ± 0.0	23.2 ± 0.0	36.2 ± 0.0	29.1 ± 0.0	41.3 ± 0.0	OOM
kNN-GCN	66.5 ± 0.4^†	68.3 ± 1.3^†	72.5 ± 0.5	71.8 ± 0.8	70.4 ± 0.4	49.1 ± 0.3
LDS	-	-	71.5 ± 0.8^†	71.5 ± 1.1^†	OOM	OOM
GRCN	67.4 ± 0.3	67.3 ± 0.8	71.3 ± 0.9	70.9 ± 0.7	67.3 ± 0.3	OOM
DGCNN	56.5 ± 1.2	55.1 ± 1.4	67.3 ± 0.7	66.6 ± 0.8	70.1 ± 1.3	OOM
IDGL	70.9 ± 0.6	68.2 ± 0.6	73.4 ± 0.5	72.7 ± 0.4	72.3 ± 0.4	OOM
kNN-GCN + AdaEdge	67.7 ± 1.0	68.8 ± 1.0	72.2 ± 0.4	71.8 ± 0.6	OOT	OOT
kNN-GCN + self-training	67.3 ± 0.3	69.8 ± 1.0	71.1 ± 0.3	72.4 ± 0.2	72.7 ± 0.1	NA
SLAPS (FP)	72.4 ± 0.4	70.7 ± 0.4	76.6 ± 0.4	73.1 ± 0.6	OOM	OOM
SLAPS (MLP)	72.8 ± 0.8	70.5 ± 1.1	75.3 ± 1.0	73.0 ± 0.9	74.4 ± 0.6	56.6 ± 0.1
SLAPS (MLP-D)	73.4 ± 0.3	72.6 ± 0.6	75.1 ± 0.5	73.9 ± 0.4	73.1 ± 0.7	52.9 ± 0.1
SLAPS (MLP) + AdaEdge	72.8 ± 0.7	70.6 ± 1.5	75.2 ± 0.6	72.6 ± 1.4	OOT	OOT
SLAPS (MLP) + self-training	74.2 ± 0.5	73.1 ± 1.0	75.5 ± 0.7	73.3 ± 0.6	74.3 ± 1.4	NA

• SLAPS는 Cora, Citeseer, Pubmed, ogbn-arxiv와 같은 표준 벤치마크에서 여러 잠재 그래프 기준선을 능가한다.
• 생성기 중 FP와 MLP-D 변형은 특징 차원수와 데이터셋 크기에 따라 최적의 성능 차이를 보이며, 고특징 케이스에서는 종종 MLP-D가 선호된다.
• 자체 학습은 일반적으로 SLAPS의 성능을 향상시키며, AdaEdge는 학습된 그래프 동형성에 따라 이득이 혼재한다.
• 자체 지도 신호의 유용성을 보여주기 위해 자체 학습만으로 인접성을 학습하는 2단계 변형(SLAPS_2s)이 다수 데이터셋에서 여전히 kNN-GCN보다 우수하다.
• MNIST 변형에서 SLAPS는 GLCN, DeepWalk 및 표준 GCN/GAT 변형과 비교해 지속적으로 더 나은 성능을 보여 도메인 전반에 걸친 강건성을 강조한다.
• 이론적 통찰은 잠재 그래프 설정에서 상당 부분의 에지가 감독 부족 상태에 놓일 수 있음을 시사하며, 제안된 자기지도 감독의 필요성을 뒷받침한다.