[논문 리뷰] Multilayer Graph Signal Clustering.

Mireille El Gheche, Pascal Frossard|arXiv (Cornell University)|2018. 11. 02.

Complex Network Analysis Techniques참고 문헌 19인용 수 2

한 줄 요약

이 논문은 다층 그래프 신호 군집화를 위한 이단계 방법을 제안하며, 기하 평균을 통해 라플라시안 행렬을 융합하고 신경망을 훈련시켜 융합된 그래프 구조와 일치하는 특징을 임bedding하는 방식으로 노드 특징과 다중 네트워크 레이어를 동시에 활용한다. 이 방법은 융합된 라플라시안의 주요 고유벡터와 일치하는 방식으로 확률적 경사 하강법을 통해 군집화 友好的 표현을 학습함으로써 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Network data appears in very diverse applications, like biological, social, or sensor networks. Clustering of network nodes into categories or communities has thus become a very common task in machine learning and data mining. Network data comes with some information about the network edges. In some cases, this network information can even be given with multiple views or multiple layers, each one representing a different type of relationship between the network nodes. Increasingly often, network nodes also carry a feature vector. We propose in this paper to extend the node clustering problem, that commonly considers only the network information, to a problem where both the network information and the node features are considered together for learning a clustering-friendly representation of the feature space. Specifically, we design a generic two-step algorithm for multilayer network data clustering. The first step aggregates the different layers of network information into a graph representation given by the geometric mean of the network Laplacian matrices. The second step uses a neural net to learn a feature embedding that is consistent with the structure given by the network layers. We propose a novel algorithm for efficiently training the neural net via stochastic gradient descent, which encourages the neural net outputs to span the leading eigenvectors of the aggregated Laplacian matrix, in order to capture the pairwise interactions on the network, and provide a clustering-friendly representation of the feature space. We demonstrate with an extensive set of experiments on synthetic and real datasets that our method leads to a significant improvement w.r.t. state-of-the-art multilayer graph clustering algorithms, as it judiciously combines nodes features and network information in the node embedding algorithms.

연구 동기 및 목표

• 기존 군집화 방법이 네트워크 구조나 특징을 별개로 고려하는 한계를 해결하기 위해.
• 다층 네트워크 정보와 노드 특징 벡터를 동시에 모델링하는 통합 프레임워크를 개발하기 위해.
• 다양한 네트워크 레이어 간의 구조적 관계를 고려하면서도 낮은 차원의 군집화 友好的 표현을 학습하기 위해.
• 융합된 네트워크 구조의 스펙트럼 성질과 일치하는 방식으로 신경망 임베딩을 효율적으로 훈련시키는 절차를 설계하기 위해.

제안 방법

• 각각의 네트워크 레이어에 대한 라플라시안 행렬의 기하 평균을 계산하여 다중 네트워크 레이어를 융합해 통합된 그래프 표현을 형성한다.
• 융합된 라플라시안 행렬의 스펙트럼 구조와 일치하는 특징 임베딩을 학습하기 위해 신경망을 사용한다.
• 융합된 라플라시안의 주요 고유벡터와 일치하도록 유도하기 위해 확률적 경사 하강법을 사용해 신경망을 훈련시킨다.
• 융합된 라플라시안의 고유벡터를 활용해 레이어 간의 쌍별 노드 상호작용과 커뮤니티 구조를 유지한다.
• 노드 특징과 네트워크 토폴로지를 종합적으로 통합해 종단 간 미분 가능한 프레임워크를 구축하여 공동 표현 학습을 수행한다.

실험 결과

연구 질문

• RQ1 노드 특징과 다층 네트워크 구조를 효과적으로 융합하여 군집화 성능을 향상시킬 수 있는 방법은 무엇인가?
• RQ2 다양한 네트워크 레이어를 하나의 대표성 있는 그래프 구조로 융합하는 최적의 방법은 무엇인가?
• RQ3 다층 네트워크의 스펙트럼 성질을 반영하는 임베딩을 생성하도록 신경망을 어떻게 훈련시킬 수 있는가?
• RQ4 특징과 네트워크 레이어를 함께 모델링하는 방식이 단일 모odal 기반 방법보다 얼마나 뛰어난가?

주요 결과

• 제안된 방법은 시뮬레이션 및 실세계 데이터셋에서 최신 기술 수준의 다층 그래프 군집화 알고리즘보다 뚜렷한 성능 향상을 달성한다.
• 라플라시안 행렬의 기하 평균 융합 방식은 단순 평균화나 연결보다 더 강건하고 대표성이 높은 그래프 구조를 생성한다.
• 융합된 라플라시안의 주요 고유벡터와 일치하도록 훈련된 신경망 임베딩은 더 일관되고 분류 능력이 뛰어난 군집 할당을 제공한다.
• 특징과 다층 네트워크 구조를 공동으로 모델링함으로써 군집화에 유리한 표현을 도출하여 후속 군집화 정확도를 향상시킨다.