[논문 리뷰] Graph Clustering with Dynamic Embedding

Carl Yang, Mengxiong Liu외 3명|arXiv (Cornell University)|2017. 12. 21.

Complex Network Analysis Techniques참고 문헌 46인용 수 11

한 줄 요약

이 논문은 영향력 전파와 자기학습을 통해 동적 노드 임베딩과 클러스터링 할당을 동시에 학습하는 딥 비지도 학습 그래프 클러스터링 방법인 GRACE를 제안한다. 깊이 있는 노이즈 제거 오토인코더와 종단간 최적화를 통해 희박하고 노이즈가 많은 노드 컨텐츠를 링크 구조와 통합함으로써, GRACE는 여섯 개인 실세계 네트워크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Graph clustering (or community detection) has long drawn enormous attention from the research on web mining and information networks. Recent literature on this topic has reached a consensus that node contents and link structures should be integrated for reliable graph clustering, especially in an unsupervised setting. However, existing methods based on shallow models often suffer from content noise and sparsity. In this work, we propose to utilize deep embedding for graph clustering, motivated by the well-recognized power of neural networks in learning intrinsic content representations. Upon that, we capture the dynamic nature of networks through the principle of influence propagation and calculate the dynamic network embedding. Network clusters are then detected based on the stable state of such an embedding. Unlike most existing embedding methods that are task-agnostic, we simultaneously solve for the underlying node representations and the optimal clustering assignments in an end-to-end manner. To provide more insight, we theoretically analyze our interpretation of network clusters and find its underlying connections with two widely applied approaches for network modeling. Extensive experimental results on six real-world datasets including both social networks and citation networks demonstrate the superiority of our proposed model over the state-of-the-art.

연구 동기 및 목표

• 희박하고 노이즈가 많은 노드 컨텐츠와 불완전한 링크 구조를 가진 네트워크에서 비지도 그래프 클러스터링의 과제를 해결한다.
• 복잡한 컨텐츠 표현을 포착하지 못하고 노이즈 및 희박성에 민감한 얕은 모델의 한계를 극복한다.
• 노드 표현과 클러스터링 할당을 종단간 방식으로 동시에 최적화하는 작업 인식 기반의 딥 임베딩 프레임워크를 개발한다.
• 영향력 전파를 활용하여 네트워크 전반에서 노드 임베딩의 동적 진화를 모델링함으로써 클러스터 탐지 성능을 향상시킨다.
• 라벨이 없는 데이터가 필요 없는 효율적이고 확장 가능한 자기학습 기반 학습을 가능하게 한다.

제안 방법

• 희박하고 노이즈가 많은 노드 컨텐츠로부터 압축적이고 강건한 표현을 학습하기 위해 다중 비선형층을 갖춘 깊이 있는 노이즈 제거 오토인코더를 사용한다.
• 네트워크 구조와 콘텐츠 인식 표현에 기반해 동적으로 노드 임베딩을 업데이트하기 위해 영향력 전파 원리를 적용한다.
• 동적 임베딩 과정을 반복적 업데이트 시스템으로 공식화하여, 기저의 공동 구조를 반영하는 안정된 상태로 수렴하도록 한다.
• 고신뢰도 예측을 사용해 훈련 중에 클러스터 할당을 정밀하게 다듬는 비지도 자기학습 클러스터링 구성 요소를 통합한다.
• 종단간 최적화를 통해 임베딩 손실과 클러스터링 목표를 닫힌 루프 방식으로 동시에 최적화함으로써 전체 프레임워크를 훈련시킨다.
• 모델은 GPU에서 훈련되며, 대규모 실세계 네트워크에 대한 확장성을 고려해 설계되었다.

실험 결과

연구 질문

• RQ1 딥 임베딩은 실세계 네트워크에서 희박하고 노이즈가 많은 노드 컨텐츠를 효과적으로 모델링하여 그래프 클러스터링 성능을 향상시킬 수 있는가?
• RQ2 영향력 전파를 어떻게 활용하여 공동 구조를 드러내는 방식으로 노드 표현을 동적으로 진화시킬 수 있는가?
• RQ3 노드 임베딩과 클러스터링 할당의 종단간 공동 학습 방식이 분리되거나 이중 단계적 접근 방식을 능가할 수 있는가?
• RQ4 자기학습을 통합함으로써 제한된 지도 정보가 있는 비지도 설정에서 클러스터링 성능이 향상되는가?
• RQ5 다양한 실세계 네트워크에서 제안된 방법은 최신 기술 수준의 베이스라인과 비교해 어떻게 성능을 냈는가?

주요 결과

• GRACE는 소셜 네트워크와 인용 네트워크를 포함한 여섯 개인 실세계 데이터셋에서 최신 기술 수준의 성능을 달성하며, 기존의 비지도 클러스터링 방법을 능가한다.
• 딥 콘텐츠 임베딩과 영향력 전파의 통합은 특히 희박하고 노이즈가 많은 노드 속성이 있는 네트워크에서 클러스터링 정확도를 크게 향상시킨다.
• 자기학습 구성 요소는 고신뢰도 예측을 사용해 반복적으로 클러스터 할당을 다듬음으로써 모델 성능을 향상시킨다.
• GRACE는 GPU에서 훈련할 경우 강력한 확장성과 효율성을 보이며, 대규모 네트워크 분석에 적합하다.
• 이론적 분석은 GRACE의 클러스터 해석이 널리 사용되는 네트워크 모델링 접근 방식과 연결되어 있음을 밝혀내어, 그 설계 원리의 타당성을 검증한다.
• 실험 결과는 여러 평가 지표에서 DeepWalk, node2vec, BigClam, CESNA 등의 베이스라인에 비해 일관되게 뛰어난 성능을 보였다.