[논문 리뷰] CAGNN: Cluster-Aware Graph Neural Networks for Unsupervised Graph Representation Learning

Yanqiao Zhu, Yichen Xu외 3명|arXiv (Cornell University)|2020. 09. 03.

Advanced Graph Neural Networks참고 문헌 40인용 수 24

한 줄 요약

CAGNN는 클러스터 인식을 고려한 자기지도 학습 그래프 신경망으로, 노드 임베딩에 대해 반복적인 클러스터링을 수행하고 클러스터 할당을 의사 레이블로 사용하여 학습함으로써 비지도 그래프 표현 학습을 향상시킨다. 동시에 내부 클래스 간 엣지 강화와 이질 클래스 간 엣지 억제를 통해 그래프 구조를 개선한다. 이 방법은 최신 기술 대비 노드 클러스터링 벤치마크에서 7퍼센트 이상의 정확도 향상을 달성한다.

ABSTRACT

Unsupervised graph representation learning aims to learn low-dimensional node embeddings without supervision while preserving graph topological structures and node attributive features. Previous graph neural networks (GNN) require a large number of labeled nodes, which may not be accessible in real-world graph data. In this paper, we present a novel cluster-aware graph neural network (CAGNN) model for unsupervised graph representation learning using self-supervised techniques. In CAGNN, we perform clustering on the node embeddings and update the model parameters by predicting the cluster assignments. Moreover, we observe that graphs often contain inter-class edges, which mislead the GNN model to aggregate noisy information from neighborhood nodes. We further refine the graph topology by strengthening intra-class edges and reducing node connections between different classes based on cluster labels, which better preserves cluster structures in the embedding space. We conduct comprehensive experiments on two benchmark tasks using real-world datasets. The results demonstrate the superior performance of the proposed model over existing baseline methods. Notably, our model gains over 7% improvements in terms of accuracy on node clustering over state-of-the-arts.

연구 동기 및 목표

• 기존 GNN 모델이 레이블이 부여된 노드가 필요로 하는 한계를 해결하기 위해 효과적인 비지도 그래프 표현 학습을 가능하게 하기 위해.
• 인간에 의해 주어진 레이블이 없을 경우 그래프 내 자연스러운 클러스터 구조를 자율 지도 신호로 활용하기 위해.
• GNN의 메시지 전파 과정에서 노이즈가 많은 이질 클래스 간 엣지가 노드 임베딩 품질에 악영향을 미치는 것을 완화하기 위해.
• 클러스터 할당 기반으로 그래프 구조를 개선하여 학습된 노드 임베딩의 분류 능력을 향상시키기 위해.
• 더 나은 표현 학습을 위해 클러스터링과 구조 적응을 결합한 자기지도 학습 프레임워크를 개발하기 위해.

제안 방법

• CAGNN는 k-means를 사용해 노드 임베딩에 대해 반복적인 클러스터링을 수행하고, 이를 자기지도 학습을 위한 의사 레이블로 생성한다.
• 모델은 교차 엔트로피 손실을 사용해 클러스터 할당을 예측하도록 훈련되어, 지도 레이블 없이도 엔드 투 엔드 최적화가 가능하다.
• 클러스터 레이블을 사용해 동일 클러스터 내 엣지를 강화하고, 서로 다른 클러스터 간 엣지를 억제하는 구조 개선 모듈을 구현한다.
• 다음 GNN 레이어에서 사용하기 위해 개선된 그래프 구조를 활용하여, 메시지 전파 과정에서 이질 클래스 이웃의 영향을 줄인다.
• 개선 단계에서 정규화된 어텐션 가중치를 계산하기 위해 매트릭스 스케일링 문제를 해결하기 위해 Greenkhorn 기반 알고리즘을 적용한다.
• 노드 임베딩은 개선된 이웃 구조를 고려해 특징을 집계하는 GNN 인코더를 통해 업데이트되며, 클러스터 구조를 유지한다.

실험 결과

연구 질문

• RQ1 그래프 내 클러스터 구조가 비지도 GNN 학습을 위한 자율 지도 신호로 효과적으로 활용될 수 있는가?
• RQ2 내부 클래스 엣지 강화와 이질 클래스 엣지 억제를 통해 그래프 구조를 개선하는 것이 노드 표현 품질에 어떤 영향을 미치는가?
• RQ3 제안된 클러스터 인식 학습 체계가 최신 비지도 방법 대비 당장의 노드 클러스터링 작업에서 성능 향상에 얼마나 기여하는가?
• RQ4 기반 클러스터링 기반 의사 레이블링과 구조 개선의 조합이 더 분류 능력이 뛰어나고 구조적으로 일관된 노드 임베딩을 생성할 수 있는가?
• RQ5 이 방법은 클러스터 밀도와 노이즈 수준이 다양한 실제 그래프 데이터셋에 일반화되는가?

주요 결과

• CAGNN는 벤치마크 데이터셋에서 최신 비지도 GNN 방법 대비 노드 클러스터링 정확도에서 7퍼센트 이상의 성능 향상을 달성한다.
• t-SNE를 사용한 시각화 결과, CAGNN 임베딩은 2차원 투영에서 명확하게 분리되고 잘 정의된 클러스터를 형성하는 반면, 원본 특징은 구조가 없는 것으로 나타났다.
• 개선된 그래프 구조는 이질 클래스 엣지의 영향을 줄여 모델이 서로 다른 클래스를 더 잘 구분할 수 있도록 크게 향상시켰다.
• 클러스터 의사 레이블을 사용한 자기지도 학습 체계는 어떤 레이블이 없는 노드가 필요 없이도 효과적인 파rameter 최적화를 가능하게 했다.
• 모델은 Cora를 포함한 여러 실제 그래프 데이터셋에서 뛰어난 성능과 강건성을 보이며, 우수한 클러스터링 성능를 달성했다.
• 제거 실험 결과, 클러스터 인식 학습과 구조 개선 구성 요소가 모두 모델의 성능 향상에 필수적임을 확인했다.