[논문 리뷰] Attributed Graph Clustering: A Deep Attentional Embedding Approach

Chun Wang, Shirui Pan외 4명|arXiv (Cornell University)|2019. 06. 15.

Advanced Graph Neural Networks참고 문헌 18인용 수 48

한 줄 요약

DAEGC는 그래프 주의(autoencoder)와 자기 훈련 클러스터링 모듈을 사용하여 속성 그래프에 대해 목표지향적 그래프 임베딩 및 클러스터링을 함께 학습하고, 최첨단 baselines보다 우수한 클러스터링 성능을 달성합니다.

ABSTRACT

Graph clustering is a fundamental task which discovers communities or groups in networks. Recent studies have mostly focused on developing deep learning approaches to learn a compact graph embedding, upon which classic clustering methods like k-means or spectral clustering algorithms are applied. These two-step frameworks are difficult to manipulate and usually lead to suboptimal performance, mainly because the graph embedding is not goal-directed, i.e., designed for the specific clustering task. In this paper, we propose a goal-directed deep learning approach, Deep Attentional Embedded Graph Clustering (DAEGC for short). Our method focuses on attributed graphs to sufficiently explore the two sides of information in graphs. By employing an attention network to capture the importance of the neighboring nodes to a target node, our DAEGC algorithm encodes the topological structure and node content in a graph to a compact representation, on which an inner product decoder is trained to reconstruct the graph structure. Furthermore, soft labels from the graph embedding itself are generated to supervise a self-training graph clustering process, which iteratively refines the clustering results. The self-training process is jointly learned and optimized with the graph embedding in a unified framework, to mutually benefit both components. Experimental results compared with state-of-the-art algorithms demonstrate the superiority of our method.

연구 동기 및 목표

• 속성 그래프의 구조와 노드 내용을 함께 활용하여 그래프 클러스터링을 동기 부여한다.
• 임베딩 학습과 클러스터링을 통합하는 목표지향적이고 엔드-투-엔드 프레임워크를 개발한다.
• 고차원 이웃 정보를 포착하기 위해 그래프 주의(Attention)를 활용한다.
• 임베딩 학습을 감독하기 위한 자기 훈련 클러스터링 모듈을 도입한다.
• 벤치마크 데이터셋에서 최첨단 baselines에 비해 우수성을 입증한다.

제안 방법

• 그래프 구조와 노드 특성을 잠재 표현으로 융합하기 위한 그래프 어텐션 자동인코더를 제안한다.
• 노드 속성과 토폴로지에서 계산된 주의 계수를 이용한 2계층 그래프 어텐션 인코더를 사용하고 인접 행렬의 고차 이웃을 근접성 행렬 M을 통해 통합한다.
• 내적을 이용한 복원을 통해 인접 행렬을 재구성하고 재구성 손실 L_r를 최소화한다.
• 소프트 할당 Q와 타깃 분포 P 사이의 KL 발산 L_c를 최소화하는 자기 훈련 클러스터링 모듈을 도입하여 학생-타운 유사도(metric)에서 파생된 분포를 사용한다.
• 손실함수 L = L_r + γ L_c를 공동 최적화하여 임베딩과 클러스터링을 동시에 학습한다.
• 학습된 임베딩 위에서 k-means로 클러스터링을 초기화하고 학습 중에 클러스터 중심 μ를 갱신한다.

실험 결과

연구 질문

• RQ1 속성 그래프의 그래프 클러스터링을 향상시키는 목표지향적 임베딩 프레임워크를 어떻게 설계할 수 있을까?
• RQ2 그래프 어텐션 기반 인코더가 구조와 내용을 효과적으로 융합하여 클러스터링 친화적인 임베딩을 생성할 수 있을까?
• RQ3 자기 훈련 클러스터링 모듈이 임베딩 학습을 감독하여 클러스터링 품질을 향상시킬 수 있을까?
• RQ4 표준 데이터셋에서 최첨단 그래프 클러스터링 방법에 비해 어떤 성능 향상을 달성할 수 있을까?

주요 결과

• DAEGC는 ACC, NMI, F-score, ARI에서 표준 속성 그래프 클러스터링 벤치마크에서 baselines를 능가한다.
• 구조와 내용을 그래프 어텐션을 통해 통합하면 구조만 사용하거나 내용만 사용하는 방법보다 클러스터링 성능이 향상된다.
• 자기 훈련 클러스터링 구성요소는 임베딩 최적화를 더 나은 클러스터링으로 유도하는 감독을 제공한다.
• Cora에서 DAEGC의 성능은 ACC 0.704, NMI 0.528, F-score 0.682, ARI 0.496이다.
• Citeseer에서 DAEGC의 성능은 ACC 0.671, NMI 0.266, F-score 0.659, ARI 0.278이다.
• PubMed에서 DAEGC의 성능은 ACC 0.671, NMI 0.266, F-score 0.659, ARI 0.278이다.