[논문 리뷰] A Network Science perspective of Graph Convolutional Networks: A survey

Mingshan Jia, Bogdan Gabryś외 1명|arXiv (Cornell University)|2023. 01. 12.

Complex Network Analysis Techniques인용 수 5

한 줄 요약

이 논문은 그래프 컬러리피션 네트워크(GCNs)에 대한 네트워크 과학적 시각을 제시하며, 계층별 메시지 집계 범위, 메시지 내용, 전체 학습 범위를 기반으로 GCN을 분류하는 새로운 분류 체계를 도입한다. 전통적인 네트워크 과학 측정치—예를 들어 중심성, 군집성, 모티프—와 GCN을 연결하여, 구조적 통찰이 GCN 설계, 해석 가능성, 모델 선택에 어떻게 기여할 수 있는지 밝혀낸다.

ABSTRACT

The mining and exploitation of graph structural information have been the focal points in the study of complex networks. Traditional structural measures in Network Science focus on the analysis and modelling of complex networks from the perspective of network structure, such as the centrality measures, the clustering coefficient, and motifs and graphlets, and they have become basic tools for studying and understanding graphs. In comparison, graph neural networks, especially graph convolutional networks (GCNs), are particularly effective at integrating node features into graph structures via neighbourhood aggregation and message passing, and have been shown to significantly improve the performances in a variety of learning tasks. These two classes of methods are, however, typically treated separately with limited references to each other. In this work, aiming to establish relationships between them, we provide a network science perspective of GCNs. Our novel taxonomy classifies GCNs from three structural information angles, i.e., the layer-wise message aggregation scope, the message content, and the overall learning scope. Moreover, as a prerequisite for reviewing GCNs via a network science perspective, we also summarise traditional structural measures and propose a new taxonomy for them. Finally and most importantly, we draw connections between traditional structural approaches and graph convolutional networks, and discuss potential directions for future research.

연구 동기 및 목표

• 전통적인 네트워크 과학 방법과 그래프 컬러리피션 네트워크(GCNs) 사이의 격차를 메우기 위해, 이들은 종종 별개의 영역으로 간주되는 경향이 있다.
• 네트워크 과학의 전통적 구조적 측정치를 위한 새로운 분류 체계를 개발하여 중심성, 모티프, 그래프릿과 같은 개념들을 구조적 시각 아래 통합한다.
• 메시지 집계 범위, 메시지 내용, 전체 학습 범위의 세 가지 구조적 시점에서 GCN을 분류한다.
• 전통적인 구조적 측정치가 GCN 설계, 해석 가능성 향상, 모델 선택에 어떻게 기여할 수 있는지 탐색한다.
• 네트워크 과학과 GCN의 교차점에서 발생하는 미래 연구 방향을 식별하고 제안한다. 이는 엣지 특징 통합 및 설명 가능성 향상 포함.

제안 방법

• 구조적 정보를 기반으로 전통적인 네트워크 과학 측정치를 통합하는 분류 체계를 제안하며, 중심성, 군집계수, 모티프, 그래프릿과 같은 개념들을 공통 프레임워크 아래에 통합한다.
• GCN을 세 가지 차원으로 분류한다: (1) 계층별 메시지 집계 범위(예: 국소 대 비국소), (2) 메시지 내용(예: 노드 특징, 엣지 속성, 구조적 패턴), (3) 전체 학습 범위(예: 인덕티브 대 트랜스덕티브 학습).
• 네트워크 과학의 시각에서 GCN이 활용하는 구조적 정보를 분석하여, 다양한 GCN 아키텍처가 위상적 특징을 어떻게 활용하는지 밝혀낸다.
• 전통적인 구조적 측정치와 GCN 메커니즘 사이의 개념적·기능적 연결 고리를 설정한다. 예를 들어, 모티프 빈도 또는 군집계수는 GCN 성능에 영향을 줄 수 있다.
• 메시지 전달 과정에 엣지 수준의 구조적 측정치—예를 들어 엣지 군집계수, 국소 경로 지수—를 통합하여 특징 표현을 향상시키는 방안을 제안한다.
• 전통적인 구조적 측정치를 모델 선택 및 해석 가능성의 진단 도구로 활용할 것을 제안한다. 예를 들어, 삼각형이 많은지 또는 사각형이 많은지에 따라 GCN 아키텍처를 선택할 수 있다.

Figure 1. Taxonomy of graph convolutional networks from structural perspectives.

실험 결과

연구 질문

• RQ1 전통적인 네트워크 과학 측정치는 어떻게 체계적으로 분류되고 공통적인 구조적 시각 아래 통합될 수 있는가?
• RQ2 다양한 GCN 아키텍처는 그래프의 구조적 정보를 어떻게 활용하는가? 이를 공식적으로 분류할 수 있는가?
• RQ3 전통적인 구조적 측정치(예: 중심성, 모티프)와 GCN의 메시지 전달 메커니즘 사이의 기능적·개념적 연결 고리는 무엇인가?
• RQ4 전통적인 구조적 측정치는 특정 그래프 유형이나 작업에 적합한 GCN 모델의 선택과 설계에 어떻게 기여할 수 있는가?
• RQ5 엣지 수준의 구조적 특징은 GCN 성능 향상과 해석 가능성 향상에 어떤 역할을 할 수 있는가?

주요 결과

• 논문은 중심성, 군집성, 모티프, 그래프릿과 같은 다양한 개념을 통합하는 공통 구조적 프레임워크 아래에 전통적인 네트워크 과학 측정치에 대한 종합적인 분류 체계를 수립한다.
• GCN은 집계 범위(국소/비국소), 메시지 내용(노드/엣지/구조적 특징), 학습 범위(인덕티브/트랜스덕티브)의 세 축을 따라 체계적으로 분류되며, 아키텍처 간의 설계 패턴이 드러난다.
• 군집계수나 모티프 빈도와 같은 전통적인 구조적 측정치가 GCN 행동과 직접적으로 관련되어 있음을 입증하여, GCN이 암묵적으로 이러한 패턴을 학습하고 활용하고 있음을 시사한다.
• 엣지 수준의 구조적 측정치—예를 들어 엣지 군집계수, 국소 경로 지수—를 GCN 메시지 전달에 통합하는 것이 모델 표현력과 정확도 향상에 유망한 방향으로 확인되었다.
• 구조적 측정치는 모델 선택의 진단 도구로 활용될 수 있으며, 특정한 위상적 특성을 지닌 그래프(예: 삼각형이 많은 그래프 대비 사각형이 많은 그래프)에 적합한 GCN 아키텍처가 존재함을 시사한다.
• 논문은 GCN의 설명 가능성과 해석 가능성 문제를 핵심 과제로 식별하며, 전통적인 구조적 측정치가 특정 그래프 유형에서 어떤 GCN이 더 잘 작동하는지에 대한 이유를 밝혀내는 데 기여할 수 있음을 제안한다.

Figure 2. Structural measures on graphs.