[논문 리뷰] A Framework for Generalizing Graph-based Representation Learning Methods

Nesreen K. Ahmed, Ryan A. Rossi외 5명|arXiv (Cornell University)|2017. 09. 14.

Advanced Graph Neural Networks참고 문헌 47인용 수 16

한 줄 요약

이 논문은 노드 속성 기반의 타입 기반 워크를 도입하여 그래프 기반 표현 학습의 일반화를 위한 프레임워크를 제안한다. 기존의 노드 식별자에 의존하는 랜덤 워크를 노드 속성에서 유도된 타입 기반 워크로 대체함으로써, 개별 노드가 아닌 타입에 대한 임베딩을 학습함으로써 인덕티브이며 공간 효율적이고 이식 가능한 표현을 가능하게 한다. 이로 인해 기존 방법 대비 평균 AUC 성능 향상 16.1%를 달성하면서도 메모리 사용량을 853배 감소시킨다.

ABSTRACT

Random walks are at the heart of many existing deep learning algorithms for graph data. However, such algorithms have many limitations that arise from the use of random walks, e.g., the features resulting from these methods are unable to transfer to new nodes and graphs as they are tied to node identity. In this work, we introduce the notion of attributed random walks which serves as a basis for generalizing existing methods such as DeepWalk, node2vec, and many others that leverage random walks. Our proposed framework enables these methods to be more widely applicable for both transductive and inductive learning as well as for use on graphs with attributes (if available). This is achieved by learning functions that generalize to new nodes and graphs. We show that our proposed framework is effective with an average AUC improvement of 16.1% while requiring on average 853 times less space than existing methods on a variety of graphs from several domains.

연구 동기 및 목표

• 기존의 랜덤 워크 기반 그래프 표현 학습 방법의 한계를 해결하기 위해, 이는 전도적이고 새로운 노드나 그래프로의 일반화가 불가능하다.
• 노드 식별자에서 표현 학습을 분리함으로써 타입 기반 추상화를 통해 인덕티브 표현 학습을 가능하게 하기 위해.
• 노드 특성을 랜덤 워크 과정에 통합하여 속성 부여된 그래프를 지원함으로써 모델의 유연성과 적용 가능성을 향상시키기 위해.
• 개별 노드가 아닌 타입에 대한 임베딩을 학습함으로써 메모리 사용량을 크게 줄여 대규모 그래프로의 확장성을 확보하기 위해.
• DeepWalk 및 node2vec와 같은 기존 방법들을 하나의 프레임워크로 통합하고, 이식 학습과 속성 부여된 데이터를 지원하는 일반화된 접근을 제공하기 위해.

제안 방법

• 노드 속성 벡터를 이산적 타입으로 매핑하는 함수 Φ를 도입하여, 노드 기반 워크 대신 타입 기반 워크를 가능하게 한다.
• 워크 중에 방문한 타입의 순서를 기록함으로써, 노드의 순서가 아닌 타입의 순서를 기반으로 한 속성 부여된 랜덤 워크를 구성한다.
• word2vec와 유사하게, 속성 부여된 워크 순서열에서 스위프트그램 모델을 사용해 각 타입에 대한 저차원 임베딩을 학습한다.
• 학습된 타입 임베딩을 사용하여 각 노드의 속성을 해당 타입 임베딩에 매핑함으로써 인덕티브 노드 표현을 생성한다.
• 노드 식별자에서 표현 학습을 분리함으로써 전도적 및 인덕티브 학습을 모두 지원한다.
• 입력 속성이 없을 경우 그래프 구조에서 노드 속성을 유도함으로써 광범위한 적용 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 랜덤 워크 기반 그래프 표현 학습이 인덕티브 학습과 그래프 간 이식 학습을 지원하도록 일반화될 수 있는가?
• RQ2 노드 속성을 랜덤 워크 과정에 어떻게 통합할 수 있을까? 이는 일반화 능력과 표현 품질을 향상시킬 수 있는가?
• RQ3 노드 수준의 임베딩 대비 타입 기반 임베딩이 얼마나 메모리 사용량을 줄일 수 있을까? 성능을 유지하거나 향상시키면서 말이다.
• RQ4 제안된 프레임워크가 DeepWalk 및 node2vec와 같은 기존 방법들을 일반화하면서도 속성 부여된 그래프와 새로운 노드를 지원할 수 있는가?
• RQ5 다양한 실제 그래프 데이터셋(구조와 속성 가용성의 다양성 있음)에서 프레임워크가 강건하고 효과적인가?

주요 결과

• 제안된 프레임워크는 기준 방법 대비 여러 그래프 데이터셋에서 평균 AUC 성능 향상 16.1%를 달성한다.
• 노드 수준 임베딩 방법 대비 평균 853배 메모리 사용량을 줄여 대규모 그래프로의 확장성을 가능하게 한다.
• 프레임워크는 인덕티브 학습을 지원하여 이전에 보지 못한 노드나 그래프의 임베딩을 생성할 수 있다.
• 노드 특성을 랜덤 워크 과정에 통합함으로써 자연스럽게 속성 부여된 그래프를 지원하며, 모델의 표현력을 향상시킨다.
• DeepWalk 및 node2vec와 같은 기존 방법들을 일반화하여, 각 노드가 자체 타입인 특수 케이스로 복구할 수 있다.
• 이식 학습 작업(예: 네트워크 간 링크 예측 및 분류)을 유지하거나 향상시키면서 성능을 유지를 한다.