[논문 리뷰] Inductive Representation Learning on Large Graphs

William L. Hamilton, Rex Ying외 1명|arXiv (Cornell University)|2017. 06. 07.

Bioinformatics and Genomic Networks참고 문헌 34인용 수 4,534

한 줄 요약

GraphSAGE는 노드 특징에서 이웃 집계 함수를 학습하여 보지 않은 노드에 대한 노드 임베딩을 생성하는 inductive 프레임워크를 제시하며, 세 가지 inductive 노드 분류 작업에서 베이스라인을 능가한다.

ABSTRACT

Low-dimensional embeddings of nodes in large graphs have proved extremely useful in a variety of prediction tasks, from content recommendation to identifying protein functions. However, most existing approaches require that all nodes in the graph are present during training of the embeddings; these previous approaches are inherently transductive and do not naturally generalize to unseen nodes. Here we present GraphSAGE, a general, inductive framework that leverages node feature information (e.g., text attributes) to efficiently generate node embeddings for previously unseen data. Instead of training individual embeddings for each node, we learn a function that generates embeddings by sampling and aggregating features from a node's local neighborhood. Our algorithm outperforms strong baselines on three inductive node-classification benchmarks: we classify the category of unseen nodes in evolving information graphs based on citation and Reddit post data, and we show that our algorithm generalizes to completely unseen graphs using a multi-graph dataset of protein-protein interactions.

연구 동기 및 목표

• 진화하는 그래프에서 보지 않은 노드로 일반화하는 inductive 노드 임베딩의 필요성에 동기를 부여한다.
• 일반 GraphSAGE 프레임워크를 제안하여 이웃 특징을 집계해 노드 임베딩을 생성하는 방법을 학습한다.
• 다양한 애그리게이터 아키텍처를 평가하고 다양한 데이터셋에서 베이스라인보다 예측 성능이 향상됨을 보여준다.
• 방법이 그래프 간 일반화가 가능함을 보이고 지역 그래프 구조 학습에 대한 이론적 통찰력을 제공한다.

제안 방법

• GraphSAGE를 제안하며, 노드의 로컬 이웃으로부터 특징을 결합하고 여러 홉(K)을 통해 임베딩을 생성하기 위해 학습 가능한 애그리게이터 함수를 학습한다.
• 각 층이 이웃 표현을 집계하고, 노드의 자체 표현과 연결(concatenate)한 뒤 학습된 가중치 W^k와 함께 비선형 변환을 적용하는 순방향 전파 절차(Algorithm 1)를 사용한다.
• 근접한 노드가 유사한 표현을 갖고 멀리 떨어진 노드가 서로 다르도록 권장하는 비지도 손실(Eq. 1)을 채택하며, 작업별 목표에 대한 선택적 감독 버전이 있다.
• 대응하는 이웃 순서를 대칭적으로 보장하면서 이웃 정보를 포착하기 위해 다양한 애그리게이터 아키텍처(mean, LSTM, pooling)를 탐색한다.

실험 결과

연구 질문

• RQ1 GraphSAGE가 학습 중 보지 못한 노드에 대해 의미 있는 임베딩을 생성할 수 있는가(유도 설정)?
• RQ2 다른 이웃 애그리게이터가 유도 임베딩 품질과 확장성에 어떤 영향을 미치는가?
• RQ3 학습된 애그리게이터가 지역 그래프 구조를 얼마나 잘 포착하고 그래프 간 일반화를 가능하게 하는가?
• RQ4 실제 유도 작업에서 GraphSAGE가 전이적 기반선 및 다른 임베딩 방법과 비교하여 어떤 성능 차이를 보이는가?

주요 결과

이름	Citation Unsup F1	Citation Sup F1	Reddit Unsup F1	Reddit Sup F1	PPI Unsup F1	PPI Sup F1
Random	0.206	0.206	0.043	0.042	0.396	0.396
Raw features	0.575	0.575	0.585	0.585	0.422	0.422
DeepWalk	0.565	0.565	0.324	0.324	—	—
DeepWalk + features	0.701	0.701	0.691	0.691	—	—
GraphSAGE-GCN	0.742	0.772	0.908	0.930	0.465	0.500
GraphSAGE-mean	0.778	0.820	0.897	0.950	0.486	0.598
GraphSAGE-LSTM	0.788	0.832	0.907	0.954	0.482	0.612
GraphSAGE-pool	0.798	0.839	0.892	0.948	0.502	0.600

• GraphSAGE는 인용 데이터, Reddit, PPI 데이터셋에서 baselines(Random, Raw features, DeepWalk, 및 DeepWalk+features)보다 우수한 성능을 보였다.
• 애그리게이터 중 LSTM와 pooling 변형이 전반적으로 가장 강한 성능을 보였고, mean은 경쟁력 있는 결과를 제공하며 GCN 기반 애그리게이션은 일부 작업에서 약한 성능을 보였다.
• 비지도 GraphSAGE도 강한 성능을 달성해, 작업별 라벨 없이도 충분한 유용성을 시사한다.
• K=2 및 보통 수준의 이웃 샘플링을 가진 GraphSAGE 변형은 (K=1 대비 대략 10-15% 평균) 정확도 향상을 제공하며 실행 시간이 우호적이다.
• 이 방법은 PPI 설정에서 그래프 간 일반화가 가능함을 보여주며, 여러 그래프에서의 학습이 보지 않은 그래프의 성능을 향상시킨다.