[논문 리뷰] MixHop: Higher-Order Graph Convolutional Architectures via Sparsified Neighborhood Mixing

Sami Abu-El-Haija, Bryan Perozzi외 6명|arXiv (Cornell University)|2019. 04. 30.

Advanced Graph Neural Networks참고 문헌 23인용 수 269

한 줄 요약

MixHop은 레이어당 여러 인접 행렬 거듭제곱을 학습하여 고차원 이웃 혼합을 구현하고, 델타 연산자와 유사한 표현을 가능하게 하며, 스파스 규제를 통해 데이터셋 특성에 맞는 아키텍처를 드러낸다. 추가 메모리/복잡도 없이 벤치마크 그래프에서 노드 분류의 최첨단 성능을 달성한다.

ABSTRACT

Existing popular methods for semi-supervised learning with Graph Neural Networks (such as the Graph Convolutional Network) provably cannot learn a general class of neighborhood mixing relationships. To address this weakness, we propose a new model, MixHop, that can learn these relationships, including difference operators, by repeatedly mixing feature representations of neighbors at various distances. Mixhop requires no additional memory or computational complexity, and outperforms on challenging baselines. In addition, we propose sparsity regularization that allows us to visualize how the network prioritizes neighborhood information across different graph datasets. Our analysis of the learned architectures reveals that neighborhood mixing varies per datasets.

연구 동기 및 목표

• 기존 GCN이 일반적인 이웃 혼합 관계를 포착하는 데 가진 한계를 제시한다.
• 추가 메모리나 계산 부담 없이 고차(다거리) 특징 혼합을 학습하기 위한 MixHop를 도입한다.
• MixHop가 델타 연산자와 일반적인 이웃 혼합을 표현할 수 있음을 보인다.
• 벤치마크 그래프에서 노드 분류 성능이 향상되는 것을 시연하고, 스파시티 규제를 통해 학습된 아키텍처를 시각화한다.]
• method:[
• 정 MixHop 레이어 정의: H^{(i+1)} = ||_{j in P} sigma( A_hat^{j} H^{(i)} W^{(i)}_{j}) 여기서 A_hat은 자기루프를 포함한 정규화된 인접 행렬이다.
• MixHop가 P = {1}일 때 vanilla GCN을 포함함을 보인다.
• 두 홉 델타 연산자(Delta Operators)를 Vanilla GCN과 다르게 표현할 수 있음을 증명한다.
• 레이어별 이웃 혼합으로 일반화한다: f(sum_j alpha_j sigma(A_hat^{j} X)).
• W^{(i)}_{j}의 전체 열을 가지치기해 자동으로 컴팩트한 아키텍처를 학습하도록 L2 그룹 래소를 사용한다.
• 선택적으로 일부 특징 집합을 강조하는 결과 선택형 출력층을 설계한다.

제안 방법

• 정 MixHop 레이어 정의: H^{(i+1)} = ||_{j in P} sigma( A_hat^{j} H^{(i)} W^{(i)}_{j}) 여기서 A_hat은 자기루프를 포함한 정규화된 인접 행렬이다.
• MixHop가 P = {1}일 때 vanilla GCN을 포함함을 보인다.
• 두 홉 델타 연산자(Delta Operators)를 Vanilla GCN과 다르게 표현할 수 있음을 증명한다.
• 레이어별 이웃 혼합으로 일반화한다: f(sum_j alpha_j sigma(A_hat^{j} X)).
• W^{(i)}_{j}의 전체 열을 가지치기해 자동으로 컴팩트한 아키텍처를 학습하도록 L2 그룹 래소를 사용한다.
• 선택적으로 일부 특징 집합을 강조하는 결과 선택형 출력층을 설계한다.

실험 결과

연구 질문

• RQ1 RQ1: vanilla GCN이 델타 연산자 스타일의 고차 이웃 차이(예: 두 홉 델타 연산자)를 표현할 수 있는가?
• RQ2 RQ2: 레이어당 다중 인접 행렬 거듭제곱을 학습함으로써 MixHop이 델타 연산자를 포함한 더 풍부한 이웃 혼합을 학습하는가?
• RQ3 RQ3: 고차 이웃 혼합 아키텍처가 실제 그래프에서 반지도 학습 노드 분류를 향상시키는가?
• RQ4 RQ4: 최적의 MixHop 아키텍처가 데이터셋에 따라 다를 수 있으며, 스파시티 규제가 데이터셋 특성 구조를 드러낼 수 있는가?

주요 결과

모델	Citeseer	Cora	Pubmed
2-Layer MLP	70.6±1	69.0±1.1	78.3±0.54
Chebyshev (Defferrard et al., 2016)	74.2±0.5	85.5±0.4	81.8±0.5
Vanilla GCN (Kipf & Welling, 2017)	76.7±0.43	86.1±0.34	82.2±0.29
GAT (Velickovic et al., 2018)	74.8±0.42	83.0±1.1	81.8±0.18
MixHop: default architecture (ours)	76.3±0.41	87.0±0.51	83.6±0.68
MixHop: learned architecture (ours)	77.0±0.54	87.2±0.32	83.8±0.44

• MixHop은 Citeseer, Cora, Pubmed에서 반지도 노드 분류에서 베이스라인보다 우수하다.
• 학습된 아키텍처는 데이터셋에 따라 다르며, 서로 다른 인접 행렬 거듭제곱에 선택적으로 용량이 할당된다.
• 합성 실험은 MixHop이 그래프 동질성(graph homophily)이 낮을 때 델타 연산자를 더 잘 학습하는 경향이 있음을 보인다.
• 이 방법은 vanilla GCN, Chebyshev, GAT 베이스라인과 비교해 최첨단 또는 경쟁력 있는 결과를 달성한다.
• 스파시티 규제는 메모리 증가 없이 해석 가능하고 데이터셋 특성에 맞는 네트워크 아키텍처를 산출한다.