[논문 리뷰] Representation Learning in Large Attributed Graphs.

Nesreen K. Ahmed, Ryan A. Rossi외 5명|arXiv (Cornell University)|2017. 10. 25.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 노드 식별자를 기반으로 하지 않고 노드 속성을 임bedding 벡터로 매핑하는 속성 기반 랜덤 워크를 사용하여 대규모 속성 부여된 그래프에서 표현 학습을 위한 일반적인 프레임워크를 제안한다. 함수 Φ: x → w를 학습하여 속성 벡터를 임베딩하는 방식으로, 유추적이고 공간 효율적인 학습이 가능하며, 속성 부여된 그래프를 지원함으로써 DeepWalk과 node2vec과 같은 전이적이고 식별자 기반 방법의 핵심 한계를 극복한다.

ABSTRACT

Graphs (networks) are ubiquitous and allow us to model entities (nodes) and the dependencies (edges) between them. Learning a useful feature representation from graph data lies at the heart and success of many machine learning tasks such as classification, anomaly detection, link prediction, among many others. Many existing techniques use random walks as a basis for learning features or estimating the parameters of a graph model for a downstream prediction task. Examples include recent node embedding methods such as DeepWalk, node2vec, as well as graph-based deep learning algorithms. However, the simple random walk used by these methods is fundamentally tied to the identity of the node. This has three main disadvantages. First, these approaches are inherently transductive and do not generalize to unseen nodes and other graphs. Second, they are not space-efficient as a feature vector is learned for each node which is impractical for large graphs. Third, most of these approaches lack support for attributed graphs. To make these methods more generally applicable, we propose a framework based on the notion of attributed random walk that is not tied to node identity and is instead based on learning a function $\Phi : \mathrm{ m \bf x} ightarrow w$ that maps a node attribute vector $\mathrm{ m \bf x}$ to a type $w$. This framework serves as a basis for generalizing existing methods such as DeepWalk, node2vec, and many other previous methods that leverage traditional random walks.

연구 동기 및 목표

• 기존의 랜덤 워크 기반 방법이 전이적이고 대규모 그래프에 스케일링되지 않는 한계를 해결하기 위해.
• 각 노드마다 고유 임베딩을 학습하는 데에 비효율적인 점을 개선하기 위해, 함수 기반 접근법을 도입하여 노드 간에 일반화할 수 있도록 하기 위해.
• 노드 간 연결성 외에도 풍부한 특징 정보를 지닌 속성 부여된 그래프에서의 표현 학습을 가능하게 하기 위해.
• DeepWalk과 node2vec과 같은 기존 방법들을 유추적이고, 미리 보지 않은 노드 및 그래프에 적용 가능한 방식으로 일반화하기 위해.
• 노드 속성에서 직접 파arameterized 함수 Φ를 사용하여 임베딩을 학습하는 공간 효율적인 프레임워크를 개발하기 위해.

제안 방법

• 노드 식별자에 의존하지 않고 노드 속성 벡터에 기반하는 속성 기반 랜덤 워크에 기반한 프레임워크를 제안한다.
• 노드의 속성 벡터 x를 저차원 임베딩 벡터 w로 매핑하는 함수 Φ: x → w를 정의한다.
• 이 함수를 사용하여 전이가 속성 유사도에 의해 결정되는, 노드 식별자가 아닌 방식의 랜덤 워크를 생성한다.
• 노드2vec와 유사하게, 음성 샘플링을 사용한 스킵그램을 사용하여 함수 Φ를 엔드 투 엔드로 학습한다.
• 노드 속성을 기반으로 이전에 보지 않은 노드의 임베딩을 생성할 수 있도록, 유추적 학습을 가능하게 한다.
• 노드 특징을 워크 생성 및 임베딩 과정에 통합하여 속성 부여된 그래프를 지원한다.

실험 결과

연구 질문

• RQ1 속성 부여된 그래프에서 표현 학습을 유추적으로 만들 수 있는가? 새로운 노드에 대해 재학습이 필요로 하지 않는가?
• RQ2 랜덤 워크 기반 방법을 노드 식별자 외의 요소로 일반화하여 노드 속성을 활용할 수 있는가?
• RQ3 학습된 함수 Φ: x → w가 대규모 그래프에서 확장성과 공간 효율성 향상에 얼마나 기여할 수 있는가?
• RQ4 제안된 프레임워크는 노드 분류 및 링크 예측과 같은 후행 작업에서 성능을 유지하거나 향상시킬 수 있는가?
• RQ5 일반적인 식별자 기반 랜덤 워크에 비해 속성 기반 랜덤 워크 프레임워크는 일반화 능력과 효율성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 프레임워크는 재학습 없이도 새로운 노드에 대한 임베딩을 생성할 수 있도록 유추적 표현 학습을 가능하게 한다.
• 함수 Φ: x → w를 학습함으로써 공간 효율성을 확보하여, 각 노드마다 고유의 임베딩을 저장할 필요가 없어진다.
• 노드 식별자 의존성을 속성 기반 워크 생성으로 대체함으로써, DeepWalk과 node2vec과 같은 기존 방법들을 일반화한다.
• 노드 특징을 통해 더 풍부한 표현 학습이 가능하도록 속성 부여된 그래프를 지원한다.
• 스킵그램과 음성 샘플링의 호환성을 유지함으로써, 후행 작업에서 뛰어난 성능을 확보한다.
• 랜덤 워크 기반 방법을 대규모, 속성 부여된, 유추적 그래프 학습 환경으로 확장하기 위한 통합 기반을 제공한다.