[논문 리뷰] Unsupervised Network Embedding for Graph Visualization, Clustering and Classification

Leonardo Gutiérrez-Gómez, Jean‐Charles Delvenne|arXiv (Cornell University)|2019. 02. 25.

Complex Network Analysis Techniques참고 문헌 29인용 수 4

한 줄 요약

이 논문은 전체 그래프에 대한 저차원 벡터 임베딩을 학습하기 위해 비지도 학습 기반의 딥 오토에인코드어를 제안하며, 임베딩 공간 내 유클리드 거리로 효율적인 비교를 가능하게 한다. 이는 클러스터링, 분류, 시각화 작업에서 기존의 그래프 거리 및 그래프 커널보다 뛰어나며, 특히 조밀하고 대규모 네트워크에서 훨씬 빠른 성능을 보인다.

ABSTRACT

A main challenge in mining network-based data is finding effective ways to represent or encode graph structures so that it can be efficiently exploited by machine learning algorithms. Several methods have focused in network representation at node/edge or substructure level. However, many real life challenges such as time-varying, multilayer, chemical compounds and brain networks involve analysis of a family of graphs instead of single one opening additional challenges in graph comparison and representation. Traditional approaches for learning representations relies on hand-crafting specialized heuristics to extract meaningful information about the graphs, e.g statistical properties, structural features, etc. as well as engineered graph distances to quantify dissimilarity between networks. In this work we provide an unsupervised approach to learn embedding representation for a collection of graphs so that it can be used in numerous graph mining tasks. By using an unsupervised neural network approach on input graphs, we aim to capture the underlying distribution of the data in order to discriminate between different class of networks. Our method is assessed empirically on synthetic and real life datasets and evaluated in three different tasks: graph clustering, visualization and classification. Results reveal that our method outperforms well known graph distances and graph-kernels in clustering and classification tasks, being highly efficient in runtime.

연구 동기 및 목표

• 모든 네트워크의 집합으로부터 의미 있는 저차원 표현을 학습하기 위한 비지도 신경망 접근법을 개발하는 것.
• 구조적 유사성을 유클리드 거리로 측정할 수 있는 공통의 유클리드 특징 공간으로 그래프를 매핑하여 그래프 간 비교를 효율적으로 가능하게 하는 것.
• 그래프 클러스터링, 시각화, 분류 작업에서 기존의 그래프 거리 및 커널 방법보다 뛰어난 성능을 내는 것.
• 수작업으로 만든 특징이나 도메인 전문 지식 기반 히وري스틱에 의존하는 것을 줄이고, 데이터로부터 직접 임무에 적합한 표현을 학습하는 것.
• 스펙트럼 기반 및 에디트 기반 그래프 유사도 측정 방법에 비해 확장성 있고 계산적으로 효율적인 대안을 제공하는 것.

제안 방법

• 이 방법은 각 입력 그래프의 인접 행렬을 재구성함으로써 저차원 임베딩을 학습하기 위해 딥 오토에인코드어(DAE)를 사용한다.
• 에ncoder는 각 그래프의 인접 행렬을 R^p 내의 고정된 크기의 벡터로 매핑하여 전반적인 구조적 패턴을 포착한다.
• 디코더는 임베딩에서 인접 행렬을 재구성하며, 역전파를 통해 재구성 오차를 최소화한다.
• 그래프 유사도는 학습된 임베딩 간의 유클리드 거리로 계산되며, 이는 특징 공간 내에서의 빠른 비교를 가능하게 한다.
• 모든 그래프 집합에 대한 효율적인 훈련을 위해 미니배치 확률적 경사 하강법을 사용한다.
• 특히 희소 그래프에 효과적인, 쌍별 거리 계산을 가속화하기 위해 사전 계산된 노름을 활용한다.

실험 결과

연구 질문

• RQ1 비지도 딥 오토에인코드어는 수작업으로 만든 그래프 거리보다 구조적 차이를 더 효과적으로 포착하는 그래프 수준의 표현을 학습할 수 있는가?
• RQ2 제안된 임베딩 기반 방법은 클러스터링 및 분류 성능에서 그래프 커널 및 스펙트럼 거리와 비교해 어떻게 성능을 내는가?
• RQ3 이 방법은 다양한 그래프 유형과 크기에서 계산 효율성 측면에서 얼마나 확장 가능한가?
• RQ4 학습된 임베딩이 의미 있는 구조적 관계를 유지하여 효과적인 시각화 및 분할을 가능하게 할 수 있는가?
• RQ5 노드 식별 정보를 유지하는 것이, 노드 정체성을 무시하는 방법에 비해 이 방법에 유리한가?

주요 결과

• 제안된 방법은 합성 및 실세계 데이터셋에서 모든 기준 기반 그래프 거리 및 그래프 커널보다 뛰어난 클러스터링 정확도를 달성했다.
• 그래프 분류 작업에서는 그래프 커널 및 스펙트럼 거리보다 뛰어난 성능을 보이며, 구분 능력 있는 특징을 학습할 수 있음을 입증했다.
• 모든 경쟁 방법보다 훨씬 빠른 속도를 보였으며, 특히 고유값 계산에 의존하는 계산 비용이 큰 스펙트럼 거리(CLP, NLP)에 비해 뛰어났다.
• 조밀한 네트워크에서는 엣지/정점 패턴 매칭에 의해 스케일링이 어려운 재즈드 및 암딩 거리보다 뛰어났다.
• 확장성이 뛰어난 그래프 유사도 측정 방법인 델타콘은 속도와 정확도 측면에서 제안된 방법에 뒤지지 않았다.
• 이 방법의 런타임 효율성은 임베딩 공간 내에서의 신속한 유클리드 거리 계산과 효과적인 미니배치 훈련 덕분이었다.