[논문 리뷰] N-GCN: Multi-scale Graph Convolution for Semi-supervised Node Classification

Sami Abu-El-Haija, Amol Kapoor외 2명|arXiv (Cornell University)|2018. 02. 24.

Advanced Graph Neural Networks참고 문헌 19인용 수 78

한 줄 요약

N-GCN은 정규화된 인접 행렬의 서로 다른 거듭제곱에서 다수의 GCN 인스턴스를 학습시켜 다중 스케일 그래프 정보를 포착하고, 이들의 출력을 결합하는 공동 분류기를 학습하여 준지도형 노드 분류를 향상시킵니다. 여러 벤치마크에서 최첨단 성능을 달성하고 N-SAGE 변형으로 확장됩니다.

ABSTRACT

Graph Convolutional Networks (GCNs) have shown significant improvements in semi-supervised learning on graph-structured data. Concurrently, unsupervised learning of graph embeddings has benefited from the information contained in random walks. In this paper, we propose a model: Network of GCNs (N-GCN), which marries these two lines of work. At its core, N-GCN trains multiple instances of GCNs over node pairs discovered at different distances in random walks, and learns a combination of the instance outputs which optimizes the classification objective. Our experiments show that our proposed N-GCN model improves state-of-the-art baselines on all of the challenging node classification tasks we consider: Cora, Citeseer, Pubmed, and PPI. In addition, our proposed method has other desirable properties, including generalization to recently proposed semi-supervised learning methods such as GraphSAGE, allowing us to propose N-SAGE, and resilience to adversarial input perturbations.

연구 동기 및 목표

• GCN과 랜덤 워크 기반 다중 스케일 그래프 정보를 준지도 노드 분류에 결합하는 것의 동기를 제시한다.
• 정규화된 인접 행렬의 여러 거듭제곱을 처리하는 GCN 네트워크(N-GCN)를 개발한다.
• 모든 GCN 모듈과 분류기를 공동으로 학습시켜 유용한 다중 스케일 표현을 선택한다.
• 표준 데이터셋에서 최첨단 성능을 보여주고 입력 섭동에 대한 강건성을 분석한다.

제안 방법

• 정규화된 인접 행렬 Â A의 서로 다른 거듭제곱을 각각 입력으로 받는 K개의 GCN 인스턴스를 만든다(포함 Â A^0 = I).
• K개의 GCN의 출력을 연결하여 완전 연결 분류기로 입력(N-GCN_fc).
• 또는 GCN 출력에 대해 소프트 어텐션 결합(N-GCN_a)을 학습하여 스케일을 적응적으로 가중한다.
• 레이블이 있는 노드에 교차 엔트로피 손실로-end-에서 학습하며, 각 GCN이 유용하도록 중간 감독을 적용하는 것을 선택적으로 적용한다.
• 네트워크-오브-그래프-모델(Network-of-Graph-Models) 프레임워크를 통해 다른 그래프 모델(GraphSAGE 등)로 일반화한다.
• 표준 그래프 벤치마크(Cora, Citeseer, PubMed, PPI)에서 평가하고 baselines(GCN, SAGE, DCNN 등)와 비교한다.

실험 결과

연구 질문

• RQ1 다른 랜덤 워크 스텝에서 얻은 다중 스케일 정보를 명시적으로 활용하는 것이 일반 GCN을 능가하는 준지도 노드 분류를 가능하게 하는가?
• RQ2 인접 행렬의 거듭제곱에서 작동하는 GCN 네트워크가 먼 정보와 국소 정보를 효과적으로 결합하도록 학습할 수 있는가?
• RQ3 제안된 N-GCN은 입력 섭동 및 특징 소음에 대해 강건한가?
• RQ4 N-GCN은 벤치마크 데이터셋에서 관련 방법들(예: DCNN, GraphSAGE)과 어떻게 비교되는가?
• RQ5 N-GCN 접근법이 GCN 이외의 다른 그래프 모델(SAGE 등)로 일반화될 수 있는가?

주요 결과

Method	Citeseer	Cora	PubMed	PPI
DCNN (저희 구현)	71.1	81.3	79.3	44.0
GCN (저희 구현)	71.2	81.0	78.8	46.2
SAGE (저희 구현)	63.5	77.4	77.6	59.8
N-GCN (저희)	72.2	83.0	79.5	46.8
N-SAGE (저희)	71.0	81.8	79.4	65.0

• N-GCN은 강력한 벤치마크 대비 Cora, Citeseer, PubMed, PPI 데이터셋에서 최첨단 정확도를 달성한다.
• 다중 스케일 GCN(K>1)을 사용하면 단일 스케일 GCN에 비해 성능이 향상되며, K를 증가시킬수록 더 큰 이점이 나타난다.
• 어텐션 기반 및 FC-분류 변형(N-GCN_a, N-GCN_fc) 모두 기저선을 능가하여 다중 스케일 융합의 효과를 보여준다.
• 특징 섭동 하에서 N-GCN 및 관련 다중 스케일 모델은 베이스라인인 vanilla GCN 및 SAGE보다 우수하여 특징 누락에 대한 내성을 시사한다.
• 더 깊은 단일 경로 GCN/SAGE는 일관되게 정확도를 높이지 않는 반면, N-GCN은 다중 스케일의 얕은 구성에서 이점을 얻는다.