[논문 리뷰] subgraph2vec: Learning Distributed Representations of Rooted Sub-graphs from Large Graphs

A. Sankara Narayanan, Mahinthan Chandramohan외 3명|arXiv (Cornell University)|2016. 06. 29.

Advanced Graph Neural Networks참고 문헌 6인용 수 139

한 줄 요약

subgraph2vec는 대형 그래프에서 루트된 부분그래프의 감독되지 않은 분산 표현을 학습하고 이를 분류기 또는 딥 모델과 함께 사용하여 그래프 관련 작업을 개선하며 전통적 그래프 커널보다 성능이 우수하다.

ABSTRACT

In this paper, we present subgraph2vec, a novel approach for learning latent representations of rooted subgraphs from large graphs inspired by recent advancements in Deep Learning and Graph Kernels. These latent representations encode semantic substructure dependencies in a continuous vector space, which is easily exploited by statistical models for tasks such as graph classification, clustering, link prediction and community detection. subgraph2vec leverages on local information obtained from neighbourhoods of nodes to learn their latent representations in an unsupervised fashion. We demonstrate that subgraph vectors learnt by our approach could be used in conjunction with classifiers such as CNNs, SVMs and relational data clustering algorithms to achieve significantly superior accuracies. Also, we show that the subgraph vectors could be used for building a deep learning variant of Weisfeiler-Lehman graph kernel. Our experiments on several benchmark and large-scale real-world datasets reveal that subgraph2vec achieves significant improvements in accuracies over existing graph kernels on both supervised and unsupervised learning tasks. Specifically, on two realworld program analysis tasks, namely, code clone and malware detection, subgraph2vec outperforms state-of-the-art kernels by more than 17% and 4%, respectively.

연구 동기 및 목표

• 대형 그래프에서 의미적 부분구조 의존성을 포착하는 잠재적 부분그래프 표현의 필요성을 제시한다.
• 지역 이웃 정보를 사용하여 루트된 부분그래프의 잠재 표현을 학습하는 감독되지 않은 방법을 개발한다.
• 부분그래프 벡터가 그래프 분류, 클러스터링, 링크 예측, 커뮤니티 탐지와 같은 하위 작업을 어떻게 향상시킬 수 있는지 증명한다.
• subgraph2vec가 Weisfeiler-Lehman 그래프 커널의 딥 러닝 변형을 뒷받침할 수 있음을 보여준다.
• 벤치마크 및 대규모 실세계 데이터셋에서 이 접근법을 검증하며, 코드 클론 및 맬웨어 탐지 작업을 포함한다.

제안 방법

• 노드 주변의 지역 이웃 정보를 활용하여 루트된 부분그래프의 잠재 표현을 감독되지 않은 방식으로 학습한다.
• 루트된 부분그래프를 CNN, SVM 및 관계적 클러스터링 알고리즘의 입력에 적합한 연속 벡터로 표현한다.
• subgraph 벡터를 Weisfeiler-Lehman 그래프 커널의 딥 러닝 변형에 통합한다.
• 학습된 표현을 다양한 작업에 대해 평가하여 기존 그래프 커널 대비 정확도 향상을 입증한다.
• 대규모 그래프와 실세계 데이터셋에 대한 적용 가능성을 보인다.

실험 결과

연구 질문

• RQ1 대형 그래프에서 루트된 부분그래프의 잠재 표현을 감독 없이 학습할 수 있는가?
• RQ2 부분그래프 벡터가 기존 그래프 커널에 비해 그래프 분류, 클러스터링, 링크 예측, 커뮤니티 탐지의 성능을 향상시키는가?
• RQ3 부분그래프 표현을 사용하여 Weisfeiler-Lehman 그래프 커널의 딥 러닝 변형을 만들 수 있는가?
• RQ4 벤치마크 및 실세계 데이터세트에서의 실험은 subgraph2vec로 유의미한 정확도 향상을 보여주는가?
• RQ5 특히 code clone 및 맬웨어 탐지 작업에서 subgraph2vec 기반 방법의 성능은 어떠한가?

주요 결과

• 부분그래프 벡터는 CNN 및 SVM과 같은 분류기에 사용되어 전통적 커널에 비해 우수한 정확도를 달성한다.
• 본 방법은 Weisfeiler-Lehman 그래프 커널의 딥 러닝 변형을 가능하게 한다.
• 벤치마크 및 대규모 실세계 데이터셋에 대한 실험은 감독 학습 및 비감독 학습 작업에서 기존 그래프 커널보다 유의한 정확도 향상을 보여준다.
• Code clone 작업에서 subgraph2vec은 최첨단 커널보다 17% 이상 우수한 성능을 보인다.
• 맬웨어 탐지 작업에서 subgraph2vec은 최첨단 커널보다 4% 이상 우수한 성능을 보인다.