[논문 리뷰] Machine Learning on Graphs: A Model and Comprehensive Taxonomy

Ines Chami, Sami Abu-El-Haija외 3명|arXiv (Cornell University)|2020. 05. 07.

Advanced Graph Neural Networks참고 문헌 150인용 수 99

한 줄 요약

본 연구는 GraphEDM 프레임워크 아래에서 네트워크 임베딩, 그래프 정규화, 그래프 신경망을 통합하고 Graph Representation Learning 방법에 대한 포괄적 분류 체계를 제공하며, 오픈 소스 라이브러리를 제시한다.

ABSTRACT

There has been a surge of recent interest in learning representations for graph-structured data. Graph representation learning methods have generally fallen into three main categories, based on the availability of labeled data. The first, network embedding (such as shallow graph embedding or graph auto-encoders), focuses on learning unsupervised representations of relational structure. The second, graph regularized neural networks, leverages graphs to augment neural network losses with a regularization objective for semi-supervised learning. The third, graph neural networks, aims to learn differentiable functions over discrete topologies with arbitrary structure. However, despite the popularity of these areas there has been surprisingly little work on unifying the three paradigms. Here, we aim to bridge the gap between graph neural networks, network embedding and graph regularization models. We propose a comprehensive taxonomy of representation learning methods for graph-structured data, aiming to unify several disparate bodies of work. Specifically, we propose a Graph Encoder Decoder Model (GRAPHEDM), which generalizes popular algorithms for semi-supervised learning on graphs (e.g. GraphSage, Graph Convolutional Networks, Graph Attention Networks), and unsupervised learning of graph representations (e.g. DeepWalk, node2vec, etc) into a single consistent approach. To illustrate the generality of this approach, we fit over thirty existing methods into this framework. We believe that this unifying view both provides a solid foundation for understanding the intuition behind these methods, and enables future research in the area.

연구 동기 및 목표

• 감독 학습과 비감독 학습 그래프 표현 학습 방법을 모두 설명하기 위한 통합 프레임워크(GraphEDM)를 제안한다.
• 얕은 임베딩, 오토인코더, 그래프 정규화, GNN 등 수십 가지 기존 GRL 접근법을 포섭하는 포괄적 분류 체계를 제공한다.
• 스펙트럴 및 공간 패러다임에 걸친 컨볼루션 기반 GNN을 분석하기 위한 Graph Convolution Framework(GCF)를 도입한다.
• 그래프 신경망 및 비유클리드 학습의 더 넓은 맥락에서 본 연구의 위치를 제시하고 장점과 한계를 개략적으로 설명한다.
• 노드 분류 및 링크 예측 과제에 대한 재현성 확보와 적용을 가능하게 하는 오픈 소스 GRL 라이브러리를 배포한다.

제안 방법

• GraphEDM을 그래프 구조와 선택적 노드 특성을 노드 임베딩, 재구성된 유사도 행렬 및 선택적 레이블 예측으로 매핑하는 인코더-디코더 모델로 도입한다.
• GraphEDM의 손실을 지도 손실, 그래프 정규화 손실, 파라미터 규제(L2)의 가중합으로 정의하여 감독 및 비감독 학습을 가능하게 한다.
• 지도 손실, 그래프 정규화 손실, 정규화 페널티를 포함한 목표 함수의 분류 체계를 열거하고 총 손실 L = alpha*L_SUP + beta*L_G,REG + gamma*L_REG로 표현한다.
• 인코더를 얕은 임베딩, 그래프 정규화, 그래프 오토인코딩, 이웃 집계 방법(그래프 컨볼루션 접근법)의 네 그룹으로 분류한다.
• GraphEDM이 특정 인코더/디코더 선택을 통해 기존 방법들(예: GraphSAGE, GCN, GAT, DeepWalk, node2vec)을 어떻게 구현할 수 있는지 설명한다.
• 고수준의 아키텍처 다이어그램을 제공하고 트랜덕티브(transductive)와 인덕티브(inductive) 설정, 특성 사용, 포지셔널(Position) 대 구조적(Structural) 임베딩을 논의한다.

실험 결과

연구 질문

• RQ1 네트워크 임베딩, 그래프 정규화, 그래프 신경망을 하나의 설명적 프레임워크로 통합할 수 있는가?
• RQ2 광범위한 GRL 방법들을 포섭하고 유사점과 차이점을 명확히 하는 포괄적 분류 체계는 무엇인가?
• RQ3 GraphSAGE, GCN, GAT, DeepWalk, node2vec를 공통 GraphEDM/Graph Convolution Framework 내에서 어떻게 표현할 수 있는가?
• RQ4 하나의 프레임워크에서 감독 vs 비감독, 트랜덕티브 vs 인덕티브, 포지셔널 임베딩 대 구조적 임베딩을 설명할 때 어떤 통찰과 한계가 나타나는가?
• RQ5 오픈 소스 라이브러리가 광범위한 GRL 방법과 노드 분류, 링크 예측과 같은 일반적인 응용을 지원할 수 있는가?

주요 결과

• GraphEDM 프레임워크는 단일 인코더-디코더 관점에서 널리 사용되는 반지도학습 및 무지도 GRL 방법을 일반화한다.
• 저자들은 하나의 통일된 분류 체계를 사용하여 30여 개의 기존 GRL 방법을 분류하고 이들의 관계와 차이를 명확히 한다.
• 그래프 컨볼루션 프레임워크(GCF)가 스펙트럴에서 공간적, 주의(attention) 기반 방법에 이르는 컨볼루션 기반 GNN들을 분석하기 위해 도입된다.
• 여러 방법(얕은 임베딩, 오토인코더, 그래프 정규화, GNN)을 GraphEDM에 적합시켜 원리적 비교를 가능하게 한다.
• 최신 방법과 노드 분류 및 링크 예측과 같은 일반적인 그래프 응용을 지원하기 위해 오픈 소스 GRL 라이브러리가 공개된다.