[논문 리뷰] motif2vec: Motif Aware Node Representation Learning for Heterogeneous Networks

Manoj Reddy Dareddy, Mahashweta Das외 1명|arXiv (Cornell University)|2019. 08. 22.

Advanced Graph Neural Networks참고 문헌 31인용 수 8

한 줄 요약

motif2vec는 통계적으로 유의미한 네트워크 모티프를 활용하여 원본 그래프를 모티프 그래프로 변환함으로써 이질적 네트워크를 위한 새로운 노드 표현 학습 방법을 제안한다. 이는 이질성과 고차원 연결성을 유지하는 편향된 랜덤 워크를 가능하게 하여, 다양한 실세계 데이터셋에서 노드 분류 및 링크 예측 작업에서 최신 기술들을 능가한다. 이는 구조적 및 의미적 관계를 효과적으로 포착함으로써 성능을 향상시킨다.

ABSTRACT

Recent years have witnessed a surge of interest in machine learning on graphs and networks with applications ranging from vehicular network design to IoT traffic management to social network recommendations. Supervised machine learning tasks in networks such as node classification and link prediction require us to perform feature engineering that is known and agreed to be the key to success in applied machine learning. Research efforts dedicated to representation learning, especially representation learning using deep learning, has shown us ways to automatically learn relevant features from vast amounts of potentially noisy, raw data. However, most of the methods are not adequate to handle heterogeneous information networks which pretty much represents most real-world data today. The methods cannot preserve the structure and semantic of multiple types of nodes and links well enough, capture higher-order heterogeneous connectivity patterns, and ensure coverage of nodes for which representations are generated. We propose a novel efficient algorithm, motif2vec that learns node representations or embeddings for heterogeneous networks. Specifically, we leverage higher-order, recurring, and statistically significant network connectivity patterns in the form of motifs to transform the original graph to motif graph(s), conduct biased random walk to efficiently explore higher order neighborhoods, and then employ heterogeneous skip-gram model to generate the embeddings. Unlike previous efforts that uses different graph meta-structures to guide the random walk, we use graph motifs to transform the original network and preserve the heterogeneity. We evaluate the proposed algorithm on multiple real-world networks from diverse domains and against existing state-of-the-art methods on multi-class node classification and link prediction tasks, and demonstrate its consistent superiority over prior work.

연구 동기 및 목표

• 기존 그래프 임베딩 방법이 이질적 정보 네트워크(HINs)를 다룰 때 구조적 및 의미적 이질성을 유지하지 못하는 데 기인한 한계를 해결하기 위해.
• 단순한 경로나 메타구조를 초월하여 HIN 내의 고차원 연결 패턴을 포착할 수 있는 효율적이고 비지도 표현 학습 프레임워크를 개발하기 위해.
• 반복적으로 발생하는 통계적으로 유의미한 네트워크 모티프를 임베딩 공간의 구조적 불변량으로 인코딩하여 노드 분류 및 링크 예측 성능을 향상시키기 위해.
• 이질적 네트워크 내에서 다수의 노드 및 링크 유형 간에 국소적이고 전역적인 구조적 관계와 의미적 상관관계를 유지하기 위해.
• 사전 정의된 메타구조나 작업에 특화된 히우리스틱에 의존하지 않는 확장성 있고 일반화 가능한 방법을 제공하기 위해.

제안 방법

• 반복적으로 발생하고, 무작위 네트워크보다 빈도가 높은 통계적으로 유의미한 네트워크 모티프—작은 연결된 부분그래프—를 추출하여 원본 이질적 네트워크를 하나 이상의 모티프 그래프로 변환한다.
• 의미 있는 임계값을 사용하여 무작위 패턴을 걸러내기 위해 히우리스틱 기반의 모티프 인스턴스 추출 방법을 적용하여 네트워크에서 모티프 인스턴스를 식별하고 추출한다.
• 모티프 구조에 의해 지시되는 전이 확률을 사용하여 모티프 그래프에서 편향된 랜덤 워크를 수행함으로써 고차원 이웃 영역을 탐색하며, 의미적 및 구조적 맥락을 유지한다.
• 랜덤 워크 시퀀스에서 이질적 스킵그램 모델을 사용하여 저차원 노드 임베딩을 학습함으로써 노드 유형과 모티프 기반 연결 패턴을 모두 유지한다.
• 모티프 인식 워크 편향과 스킵그램 학습을 통합하여 이질적 노드 유형 간의 구조적 밀접성과 의미적 일관성을 동시에 최적화한다.
• 기존의 메타패스와 같은 메타구조보다 더 풍부한 의미적 및 위상적 정보를 담고 있는 구조적 추상화 계층으로서 모티프 그래프를 활용한다.

실험 결과

연구 질문

• RQ1 기존의 메타구조 기반 방법과 비교해 볼 때, 모티프 기반의 구조적 추상화는 이질적 네트워크에서 노드 표현 학습을 향상시킬 수 있는가?
• RQ2 모티프 인식 랜덤 워크는 이질적 네트워크에서 국소적이고 전역적인 구조적 관계를 얼마나 효과적으로 유지하는가?
• RQ3 모티프 기반 임베딩은 다중 클래스 노드 분류 및 링크 예측 작업에서 최신 기술들을 얼마나 뛰어나게 성능을 높이는가?
• RQ4 작업에 특화된 튜닝이나 사전 정의된 메타구조 없이도 motif2vec는 다양한 실세계 이질적 네트워크에 일반화될 수 있는가?
• RQ5 통계적으로 유의미한 모티프를 사용할 경우, 학습된 노드 표현의 의미적 및 구조적 정확성이 어떻게 향상되는가?

주요 결과

• motif2vec는 다양한 실세계 이질적 네트워크에서 메타패스2벡 및 메타그래프2벡과 같은 최신 기술들을 일관되게 능가한다. 이는 다중 클래스 노드 분류 작업에서의 성능을 바탕으로 한다.
• 링크 예측 정확도에서 뚜렷한 향상을 보이며, 이는 이중 관계를 초월한 고차원 연결 패턴의 모델링 능력 향상을 보여준다.
• 모티프 그래프의 사용은 구조적 및 의미적 이질성을 더 잘 유지시켜 더 정보가 풍부하고 구분력 있는 노드 임베딩을 가능하게 한다.
• 알고리즘은 효율적으로 스케일업되며, 대규모 실세계 네트워크에서 전체 훈련 시간이 10시간 이내에 그치며, 대부분의 시간은 word2vec 훈련(7시간 42분)과 모티프 추출(26분)에 소요된다.
• 복잡한 다중 유형 상호작용을 포함한 네트워크에서는 전통적 방법이 rich한 연결성 의미를 포착하지 못하는 데 비해, 성능 향상이 특히 두드러진다.
• 제거 실험 결과, 모티프 기반 변환과 편향된 랜덤 워크가 필수적인 구성 요소임을 확인하였으며, 이 중 하나를 제거할 경우 성능 저하가 심각하게 발생한다.