[논문 리뷰] DeepGraph: Graph Structure Predicts Network Growth

Cheng Li, Xiaoxiao Guo외 1명|arXiv (Cornell University)|2016. 10. 20.

Complex Network Analysis Techniques참고 문헌 39인용 수 15

한 줄 요약

DeepGraph는 원시 인접 행렬에서 히트 커널 서명(HKS)과 다중 컬럼, 다중 해상도 컨volution 신경망을 사용해 그래프 표현을 학습함으로써 네트워크 성장을 예측하는 엔드 투 엔드 딥 러닝 모델을 제안한다. 이 방법은 다섯 개인 실세계 네트워크 데이터셋에서 수작업으로 만든 특징, 그래프 커널, 이전 딥 러닝 방법들을 크게 앞서며, 학습된 구조적 표현이 네트워크 역학을 예측하는 데 유의미한 局소 및 전역적 위상 패턴을 포착함을 보여준다.

ABSTRACT

The topological (or graph) structures of real-world networks are known to be predictive of multiple dynamic properties of the networks. Conventionally, a graph structure is represented using an adjacency matrix or a set of hand-crafted structural features. These representations either fail to highlight local and global properties of the graph or suffer from a severe loss of structural information. There lacks an effective graph representation, which hinges the realization of the predictive power of network structures. In this study, we propose to learn the represention of a graph, or the topological structure of a network, through a deep learning model. This end-to-end prediction model, named DeepGraph, takes the input of the raw adjacency matrix of a real-world network and outputs a prediction of the growth of the network. The adjacency matrix is first represented using a graph descriptor based on the heat kernel signature, which is then passed through a multi-column, multi-resolution convolutional neural network. Extensive experiments on five large collections of real-world networks demonstrate that the proposed prediction model significantly improves the effectiveness of existing methods, including linear or nonlinear regressors that use hand-crafted features, graph kernels, and competing deep learning methods.

연구 동기 및 목표

• 네트워크 성장 예측을 위해 국소 및 전역적 네트워크 위상을 모두 포착할 수 있는 수작업으로 만든 구조적 특징의 한계를 해결하기 위해.
• 원시 인접 행렬에서 직접 의미 있는 그래프 표현을 학습하는 엔드 투 엔드 딥 러닝 모델을 개발하기 위해.
• 네트워크 구조의 딥 레이어 표현이 크기, 영향력, 명성 성장과 같은 동적 성질을 효과적으로 예측할 수 있는지 조사하기 위해.
• 특징 기반 회귀기, 그래프 커널, 경쟁하는 딥 러닝 모델과의 성능 비교를 통해 모델의 성능을 평가하기 위해.
• 학습된 고수준 특징이 구조적 구멍과 삼중 클로징 이론과 같은 알려진 사회 네트워크 이론과 일치하는지 검증하기 위해.

제안 방법

• 모델은 네트워크의 원시 인접 행렬을 입력으로 받아 각 노드에 대해 히트 커널 서명(HKS)을 계산하여 국소 및 전역적 위상 정보를 인코딩한다.
• HKS 값은 시간에 따라 히스토그램으로 집계되어 구조적 복잡성을 유지하는 보편적이고 저수준의 그래프 기술자로 변환된다.
• 다중 컬럼, 다중 해상도 컨volution 신경망이 HKS 기반 기술자를 처리하여 그래프 구조의 계층적 고수준 표현을 학습한다.
• 최종 예측 헤드는 회귀 설정에서 예상되는 네트워크 성장(예: 크기, 영향력, h-지수)을 나타내는 연속적인 값을 출력한다.
• 전체 모델은 실세계 네트워크 데이터에서 예측 오차를 최소화하기 위해 평균 제곱오차(MSE) 손실을 사용해 엔드 투 엔드로 훈련된다.
• 이 방법은 사회 네트워크, 인용 네트워크, 정보 확산 그래프를 포함한 다섯 개인 대규모 실세계 네트워크 컬렉션에서 평가된다.

실험 결과

연구 질문

• RQ1 히트 커널 서명 기반의 학습된 그래프 표현이 네트워크 성장 예측에서 수작업으로 만든 구조적 특징을 능가할 수 있는가?
• RQ2 딥 뉴럴 네트워크는 인간이 설계한 특징 없이도 삼중 클러스터, 커뮤니티, 구조적 구멍과 같은 의미 있는 구조적 패턴을 얼마나 잘 자동으로 발견할 수 있는가?
• RQ3 제안된 모델의 성능은 선형/비선형 회귀기, 그래프 커널, 다른 딥 러닝 베이스라인과 비교해 어떻게 되는가?
• RQ4 모델이 학습한 표현이 구조적 구멍이 성장을 촉진한다는 등의 기존 사회 네트워크 이론과 상관이 있는가?
• RQ5 특히 대규모 그래프에서, 모델 성능은 네트워크 크기와 조밀도에 따라 어떻게 변화하는가?

주요 결과

• DeepGraph는 다섯 개의 대규모 실세계 네트워크 데이터셋에서 수작업 특징 회귀기, 그래프 커널, 경쟁 딥 러닝 모델을 포함한 모든 베이스라인 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 특히 구조적 복잡성이 국소 하위구조 특징으로서 포착하기 어려운 더 큰 그래프에서, 강력한 베이스라인(특징 기반 방법)보다 낮은 평균 제곱오차(MSE)를 기록했다.
• 학습된 특징의 시각화 결과, DeepGraph는 개방형 및 폐쇄형 삼각형, 간선 조밀도, 커뮤니티 구조와 같은 중요한 구조적 패턴을 자동으로 학습하는 것으로 나타났으며, 이는 알려진 사회 네트워크 이론과 일치한다.
• Weibo 확산 네트워크에서 DeepGraph가 학습한 고수준 특징은 실제로 네트워크 크기와 영향력 범위와 강하게 상관되었지만, h-지수와 같은 간접적 지표에서는 상관관계가 약간 약했다.
• DeepGraph가 베이스라인을 앞서는 그래프들은 일반적으로 크기가 더 큰 편이었으며, 이는 HKS 기반 표현이 복잡하고 대규모 위상에서 더 효과적임을 시사한다.
• 오차 분석 결과, 두 방법 모두 조밀한 네트워크에서는 잘 작동하지만, DeepGraph는 수작업 특징이 전역 구조를 포착하기 어려운 더 큰 그래프에서 성능 우위를 보였다.