[논문 리뷰] Embedding Graph Auto-Encoder with Joint Clustering via Adjacency Sharing.

Xuelong Li, Hongyuan Zhang외 1명|arXiv (Cornell University)|2020. 02. 20.

Advanced Graph Neural Networks참고 문헌 35인용 수 9

한 줄 요약

이 논문은 그래프 컨볼루션 네트워크 기반의 클러스터링 모델인 EGAE-JOCAS를 제안한다. 이 모델은 공유된 인접 행렬을 통해 그래프 오토에인커 학습과 클러스터링을 동시에 최적화한다. 이완된 k-means와 스펙트럴 클러스터링을 통합한 프레임워크에서 교차하는 SGD와 폐쇄형 해법을 사용함으로써, 더 빠른 수렴 속도와 속도가 빠른 속성 부여 그래프 클러스터링 벤치마크에서 뛰어난 성능을 달성한다.

ABSTRACT

Graph convolution networks have attracted many attentions and several graph auto-encoder based clustering models are developed for attributed graph clustering. However, most existing approaches separate clustering and optimization of graph auto-encoder into two individual steps. In this paper, we propose a graph convolution network based clustering model, namely, Embedding Graph Auto-Encoder with JOint Clustering via Adjacency Sharing ( extit{EGAE-JOCAS}). As for the embedded model, we develop a novel joint clustering method, which combines relaxed k-means and spectral clustering and is applicable for the learned embedding. The proposed joint clustering shares the same adjacency within graph convolution layers. Two parts are optimized simultaneously through performing SGD and taking close-form solutions alternatively to ensure a rapid convergence. Moreover, our model is free to incorporate any mechanisms (e.g., attention) into graph auto-encoder. Extensive experiments are conducted to prove the superiority of EGAE-JOCAS. Sufficient theoretical analyses are provided to support the results.

연구 동기 및 목표

• 기존 그래프 오토에인커 모델이 표현 학습과 클러스터링을 별도의 단계로 다루는 한계를 해결한다.
• 표현 품질과 클러스터링 정확도를 향상시키기 위해 그래프 오토에인커 학습과 클러스터링을 동시에 최적화하는 통합 프레임워크를 개발한다.
• 공유된 인접 행렬과 SGD 및 폐쇄형 해법을 사용한 교차 최적화를 통해 효율적인 최적화를 가능하게 한다.
• 주의 메커니즘과 같은 보조 메커니즘을 그래프 오토에인커 구성 요소에 통합할 수 있는 유연한 아키텍처를 설계한다.

제안 방법

• 학습된 노드 임베딩에 대해 이완된 k-means와 스펙트럴 클러스터링을 통합한 새로운 공동 클러스터링 방법을 제안한다.
• 표현 학습과 클러스터링 간의 일관성을 유지하기 위해 그래프 컨볼루션 레이어 전반에 걸쳐 동일한 인접 행렬을 공유한다.
• 오토에인커 복원과 클러스터링이라는 두 가지 구성 요소를 교차 최적화를 통해 동시에 최적화한다: 오토에인커에는 SGD를, 클러스터링에는 폐쇄형 해법을 사용한다.
• 공동 최적화 프레임워크를 손상시키지 않고도 어떤 주의 메커니즘도 그래프 오토에인커에 통합할 수 있다.
• 클러스터 간 분리도 향상을 위해 스펙트럴 클러스터링 정규화를 포함한 이완된 k-me안 문제로 클러스터링 목표를 수식화한다.
• 교차 최적화 중 클러스터링 단계에 폐쇄형 해법을 활용하여 빠른 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 순차적 접근 방식과 비교해 복합 최적화를 통해 속성 부여 그래프 클러스터링 성능을 향상시킬 수 있는가?
• RQ2 그래프 컨볼루션 레이어 전반에 걸쳐 인접 행렬을 공유하는 것이 클러스터링과 표현 학습에 어떤 영향을 미치는가?
• RQ3 SGD와 폐쇄형 해법을 사용한 제안된 교차 최적화 전략이 기존 학습 전략보다 더 빠른 수렴을 이끌어내는가?
• RQ4 공동 최적화의 안정성과 성능을 유지하면서 모델이 주의 메커니즘을 얼마나 잘 통합할 수 있는가?

주요 결과

• EGAE-JOCAS는 여러 속성 부여 그래프 클러스터링 벤치마크에서 최신 기술 수준의 성능을 달성하며, 기존 오토에인커 기반 클러스터링 모델을 능가한다.
• 공유된 인접 행렬을 사용한 공동 최적화 프레임워크는 더 일관성 있는 노드 표현과 향상된 클러스터링 정확도를 이끌어낸다.
• SGD와 폐쇄형 해법을 사용한 교차 최적화 전략은 학습 중 빠른 수렴을 보장한다.
• 모델의 아키텍처는 성능이나 최적화 안정성에 손상 없이 주의 메커니즘을 그래프 오토에인커에 원활하게 통합할 수 있도록 한다.