[논문 리뷰] Inductive Representation Learning in Large Attributed Graphs

Nesreen K. Ahmed, Ryan A. Rossi외 5명|arXiv (Cornell University)|2017. 10. 25.

Advanced Graph Neural Networks참고 문헌 11인용 수 21

한 줄 요약

이 논문은 학습된 함수 φ를 통해 신뢰성 기반 무작위 보행을 속성 기반 유형 매핑으로 대체함으로써 대규모 속성 부여된 그래프에서 표현 학습을 위한 새로운 인덕티브 프레임워크를 제안한다. 이 방법은 공간 효율적이고, 새로운 노드와 그래프로 일반화 가능한 인덕티브 노드 임베딩을 가능하게 하며, 다양한 데이터셋에서 링크 예측 작업에서 평균 16.1% 향상된 성능을 보인다.

ABSTRACT

Graphs (networks) are ubiquitous and allow us to model entities (nodes) and the dependencies (edges) between them. Learning a useful feature representation from graph data lies at the heart and success of many machine learning tasks such as classification, anomaly detection, link prediction, among many others. Many existing techniques use random walks as a basis for learning features or estimating the parameters of a graph model for a downstream prediction task. Examples include recent node embedding methods such as DeepWalk, node2vec, as well as graph-based deep learning algorithms. However, the simple random walk used by these methods is fundamentally tied to the identity of the node. This has three main disadvantages. First, these approaches are inherently transductive and do not generalize to unseen nodes and other graphs. Second, they are not space-efficient as a feature vector is learned for each node which is impractical for large graphs. Third, most of these approaches lack support for attributed graphs. To make these methods more generally applicable, we propose a framework for inductive network representation learning based on the notion of attributed random walk that is not tied to node identity and is instead based on learning a function $Φ: \mathrm{ m \bf x} ightarrow w$ that maps a node attribute vector $\mathrm{ m \bf x}$ to a type $w$. This framework serves as a basis for generalizing existing methods such as DeepWalk, node2vec, and many other previous methods that leverage traditional random walks.

연구 동기 및 목표

• 대규모 그래프 표현 학습에서 전이적이고 신뢰성 기반 무작위 보행 방법의 한계를 해결한다.
• 새로운 노드와 새로운 그래프로 일반화 가능한 인덕티브 표현 학습을 가능하게 한다.
• 노드 특성들을 무작위 보행 과정에 통합하여 속성 부여된 그래프를 지원한다.
• 대규모 그래프 응용 분야에서 공간 효율성과 확장성을 향상시킨다.
• 기존의 무작위 보행 기반 방법들(예: DeepWalk, node2vec)을 인덕티브 및 속성 부여된 환경에서 작동하도록 일반화한다.

제안 방법

• 노드 속성 벡터를 이산적 유형으로 매핑하는 함수 φ: x → w를 학습함으로써 표현 학습을 노드 신뢰성에서 분리한다.
• 노드 유형을 사용하여 그래프를 탐색함으로써 속성 부여된 무작위 보행을 생성한다.
• 인접한 노드들 간의 간선 E를 따라 노드 유형 φ(x_i1), φ(x_i2), ..., φ(x_iL+1)의 순서인 속성 부여된 보행 S를 정의한다.
• 노드 수준의 임베딩이 아닌 유형 수준의 임베딩을 학습하기 위해 유형 순서에 스킵그램 모델을 사용한다.
• 구조적 및 속성 특징(예: 그래프릿, 관계 특징)을 유형 매핑 함수 φ의 입력으로 활용한다.
• 유형 수준의 표현으로 학습함으로써 새로운 노드와 그래프에 대한 추론을 재학습 없이 가능하게 하여 인덕티브 능력을 확보한다.

실험 결과

연구 질문

• RQ1 기존의 전이적 무작위 보행 기반 그래프 임베딩 방법을 인덕티브이고 대규모 그래프에 확장 가능한 방식으로 일반화할 수 있는가?
• RQ2 노드 속성을 무작위 보행 과정에 어떻게 통합하여 표현 품질을 향상시킬 수 있는가?
• RQ3 제안된 프레임워크는 예측 성능을 유지하거나 향상시키면서 메모리 사용을 얼마나 줄일 수 있는가?
• RQ4 일반화 가능한 유형 임베딩을 학습함으로써 프레임워크가 교차 네트워크 및 교차 시간 예측 작업을 지원할 수 있는가?
• RQ5 이 방법은 속성 부여된 그래프와 비속성 부여된 그래프 모두에서 원래 방법과 비교해 성능을 유지하거나 향상시키는가?

주요 결과

• 제안된 프레임워크는 기존의 노드 수준 임베딩 방법 대비 최대 853배의 메모리 사용을 감소시킨다.
• 생물학, 사회 네트워크, 정보 시스템 분야의 다양한 그래프에서 링크 예측 AUC 평균 16.1% 향상된다.
• fb-Yale4 그래프에서 링크 예측 AUC가 0.998을 기록하여 node2vec(0.997)와 DeepWalk(0.996)를 초월한다.
• soc-anybeat 네트워크에서 모든 베이스라인보다 우수한 AUC 0.961을 기록하였으며, node2vec의 0.854보다 높다.
• 프레임워크는 교차 시간 링크 예측 및 동적 네트워크 분류와 같은 인덕티브 작업을 자연스럽게 지원한다.
• φ가 각 노드를 고유한 유형으로 매핑할 경우 원래 방법을 특수 케이스로 복원하므로, 이 방법은 원래 방법보다 최소한 동일한 성능을 보장한다.