[논문 리뷰] Higher-order Graph Convolutional Networks

John Boaz Lee, Ryan A. Rossi외 4명|arXiv (Cornell University)|2018. 09. 12.

Advanced Graph Neural Networks참고 문헌 34인용 수 26

한 줄 요약

이 논문은 첫 번째 순서 연결을 초월하여 복잡한 노드 이웃 구조를 포착할 수 있도록 가중치가 부여된 다단계 모티프 인접 행렬을 사용하는 고차원 그래프 신경망인 Motif Convolutional Networks(MCN)을 제안한다. 각 노드가 로컬 컨텍스트에 따라 가장 관련성이 높은 모티프 기반 이웃을 동적으로 선택할 수 있도록 학습 가능한 어텐션 메커니즘을 도입함으로써, 특히 저 homophily를 보이는 그래프에서 준최신 성능을 달성한다.

ABSTRACT

Following the success of deep convolutional networks in various vision and speech related tasks, researchers have started investigating generalizations of the well-known technique for graph-structured data. A recently-proposed method called Graph Convolutional Networks has been able to achieve state-of-the-art results in the task of node classification. However, since the proposed method relies on localized first-order approximations of spectral graph convolutions, it is unable to capture higher-order interactions between nodes in the graph. In this work, we propose a motif-based graph attention model, called Motif Convolutional Networks (MCNs), which generalizes past approaches by using weighted multi-hop motif adjacency matrices to capture higher-order neighborhoods. A novel attention mechanism is used to allow each individual node to select the most relevant neighborhood to apply its filter. Experiments show that our proposed method is able to achieve state-of-the-art results on the semi-supervised node classification task.

연구 동기 및 목표

• 그래프 컨volution 네트워크(GCNs)가 첫 번째 순서 이웃 근사에 의존함으로써 고차원 노드 상호작용을 포착하는 데에 한계가 있음에 대비하여 이를 해결하고자 한다.
• 4-경로, 삼각형, 4-클리크와 같은 다양한 네트워크 모티프를 통합함으로써, 복잡하거나 희박한 국소 구조를 가진 그래프에서 표현 학습을 향상시킬 수 있는지 탐색하고자 한다.
• 각 노드가 로컬 컨텍스트에 따라 가장 정보적인 모티프 기반 이웃을 적응적으로 선택할 수 있도록 동적 이웃 선택 메커니즘을 개발하고자 한다.
• 기존의 GCN 및 GAT 모델이 성능을 낮추는 저 homophily를 보이는 벤치마크 그래프에서 제안된 방법의 효과성을 평가하고자 한다.
• 다양한 그래프 영역에서 노드들이 서로 다른 모티프를 어떻게 우선순위를 정하는지 시각화함으로써 어텐션 메커니즘의 해석 가능성(해석 가능성)을 입증하고자 한다.

제안 방법

• 사전 정의된 네트워크 모티프(예: 간선, 2-스타, 삼각형, 4-경로, 3-스타, 4-사이클, 4-클리크)를 사용하여 가중치가 부여된 다단계 모티프 인접 행렬을 구성함으로써 고차원 이웃 구조를 정의한다.
• 메시지 전파 과정에서 각 노드에 대해 다양한 모티프 유도 인접 행렬에 중요도 가중치를 부여하는 새로운 어텐션 메커니즘을 적용한다.
• 분류 정확도 향상에 따라 보상이 주어지는 행동(모티프 선택)을 기반으로 강화 학습을 사용하여 어텐션 메커니즘을 훈련한다.
• 어 attention 가중치로 조합된 모티프 인접 행렬을 사용하여 모티프 특화 컨볼루션을 통합함으로써 다양한 이웃 구조에서 특징을 집계한다.
• ReLU 활성화 함수와 소프트맥스 출력을 사용하는 두 계층의 GCN 스타일 아키텍처를 사용하며, 조기 정지와 학습률, L2 정규화, 드롭아웃 등의 하이퍼파ram터 튜닝을 수행한다.
• 노드 속성이 없는 그래프의 경우, Weisfeiler-Lehman 알고리즘을 사용하여 노드 특징을 초기화함으로써 입력 표현에 구조적 컨텍스트가 포함되도록 보장한다.

실험 결과

연구 질문

• RQ1 네트워크 모티프로 정의된 고차원 그래프 구조가, 첫 번째 순서 GCN 방법을 초월하여 노드 분류 성능을 향상시킬 수 있는가?
• RQ2 다양한 모티프 기반 이웃 구조 중에서 선택하는 학습 가능한 어텐션 메커니즘이, 특히 저 homophily를 보이는 그래프에서 더 나은 일반화 성능을 낼 수 있는가?
• RQ3 그래프 내의 서로 다른 노드들이 서로 다른 모티프를 어떻게 우선순위를 정하는가? 이 선택은 구조적 역할(예: 가장자리 영역 대비 농도 높은 영역)과 관련이 있는가?
• RQ4 제안된 방법이 라벨 불균형과 희박한 연결성을 보이는 도전적인 벤치마크에서 GCN 및 GAT과 같은 강력한 베이스라인을 능가할 수 있는가?
• RQ5 어텐션 메커니즘은 해석 가능성이 있으며, 선택된 모티프들이 노드 이웃의 관련성에 대한 직관적 기대와 일치하는가?

주요 결과

• MCN는 DD-6에서 12.4% ± 0.5, DD-7에서 13.1% ± 0.9의 마이크로-F1 스코어를 기록하여, GCN(11.9% ± 0.6 및 12.4% ± 0.8)과 GAT(11.8% ± 0.5 및 11.8% ± 1.1)를 능가함으로써 저 homophily 그래프에서의 우수성을 입증하였다.
• DD-6에서 가장 성능이 뛰어난 MCN 설정은 4-경로-간선 모티프를 배제한 반면, DD-7는 K=4일 때 간선, 삼각형, 4-클리크 모티프만을 사용하여, 작업에 따라 모티프의 관련성이 다름을 시사한다.
• Cora에서의 시각화 결과, 가장자리 영역의 노드는 더 넓은 이웃 집합을 위해 4-경로 모티프를 선호하는 반면, 농도 높은 영역의 노드는 더 강한 국소 연결성을 위해 삼각형 모티프를 선호하는 것으로 나타났다.
• 어텐션 메커니즘이 노드 간에 이질적인 모티프 선택을 가능하게 하여, 어떤 한 모티프도 지배적이지 않음을 확인함으로써, 모델이 국소 구조 변화에 적응 가능함을 입증하였다.
• 이 방법은 동질성 높은 그래프를 초월하여 일반화되며, 인용 네트워크(Cora, Citeseer, PubMed)와 생물정보학 그래프(DD-6, DD-7) 모두에서 일관된 성능 향상을 보였다.
• 노드 속성이 없는 그래프에서 Weisfeiler-Lehman 초기화를 사용함으로써 원시 노드 속성이 없더라도 효과적인 표현 학습이 가능했으며, 이는 모델이 속성 없는 그래프에서도 강건함을 보임을 뒷받침한다.