[논문 리뷰] Attributed Graph Clustering via Adaptive Graph Convolution

Xiaotong Zhang, Han Liu외 2명|arXiv (Cornell University)|2019. 06. 04.

Advanced Graph Neural Networks참고 문헌 24인용 수 24

한 줄 요약

이 논문은 고차원 그래프 컨볼루션을 사용하여 전반적인 클러스터 구조를 포착하고, 내부 클러스터 거리 기반으로 최적의 컨볼루션 순서 $k$를 적응적으로 선택하는 새로운 속성 부여 그래프 클러스터링 방법인 적응형 그래프 컨볼루션(AGC)을 제안한다. AGC는 노드 특징과 그래프 구조를 효과적으로 통합하여 최소한의 하이퍼파라미터 튜닝으로도 벤치마크 데이터셋에서 뛰어난 클러스터링 정확도를 달성하며, 최신 기법들을 능가한다.

ABSTRACT

Attributed graph clustering is challenging as it requires joint modelling of graph structures and node attributes. Recent progress on graph convolutional networks has proved that graph convolution is effective in combining structural and content information, and several recent methods based on it have achieved promising clustering performance on some real attributed networks. However, there is limited understanding of how graph convolution affects clustering performance and how to properly use it to optimize performance for different graphs. Existing methods essentially use graph convolution of a fixed and low order that only takes into account neighbours within a few hops of each node, which underutilizes node relations and ignores the diversity of graphs. In this paper, we propose an adaptive graph convolution method for attributed graph clustering that exploits high-order graph convolution to capture global cluster structure and adaptively selects the appropriate order for different graphs. We establish the validity of our method by theoretical analysis and extensive experiments on benchmark datasets. Empirical results show that our method compares favourably with state-of-the-art methods.

연구 동기 및 목표

• 기존 GCN 기반 방법에서 고정된 순서의 그래프 컨볼루션으로 인해 대규모 또는 희박한 속성 부여 그래프에서 전반적인 클러스터 구조를 포착하지 못하는 한계를 해결하기 위해.
• 다양한 그래프 유형에 적합한 최적의 컨볼루션 순서 $k$를 적응적으로 선택할 수 있는 방법을 개발하여, 다양한 네트워크 구조에서 클러스터링 성능을 향상시키기 위해.
• 깊은 신경망 학습이 필요 없이 노드 속성과 그래프 구조를 효과적으로 통합 모델링할 수 있도록 하여 효율성과 안정성을 향상시키기 위해.
• 과도한 스무딩을 방지하고 클러스터링에 적합한 고품질의 특징 표현을 보장하기 위해 이론적으로 탄탄한 $k$ 선택 기준을 수립하기 위해.

제안 방법

• 노드 특징을 스무딩하여 근접한 이웃을 초월한 장거리 의존성을 포착하기 위해 $k$-차수 그래프 컨볼루션을 저역통과 필터로 제안한다.
• 내부 클러스터 거리 $d_{\text{intra}}(k)$ 를 기반으로 한 적응형 $k$ 선택 전략을 도입하며, $d_{\text{intra}}(k-1) > 0$ 를 만족하는 $k$ 를 선택하여 과도한 스무딩을 방지한다.
• 최종 노드 클러스터 할당을 위해 스무딩된 특징에 스펙트럼 클러스터링을 적용하며, 특징 학습과 클러스터링을 분리한다.
• 학습 불필요한 분석적 공식을 사용하여 깊은 신경망 학습을 피하고 계산 비용을 감소시킨다.
• 선택된 $k$ 가 안정적이고 고품질의 클러스터 분할에 해당함을 보장하는 검증 기준을 도입한다.
• 스케일이 가능하고 효율적인 구조를 설계하여 런타임이 모델 깊이에 의존하지 않고 $k$ 와 그래프 크기만에 의존하도록 한다.

실험 결과

연구 질문

• RQ1 고차원 그래프 컨볼루션은 고정된 순서의 GCN 레이어에 비해 클러스터링 성능을 어떻게 향상시키는가?
• RQ2 컨볼루션 순서 $k$ 를 적응적으로 선택하는 전략은 다양한 속성 부여 그래프 구조에서 더 나은 클러스터링 결과를 이끌 수 있는가?
• RQ3 제안된 내부 클러스터 거리 기준 $d_{\text{intra}}(k-1) > 0$ 는 과도한 스무딩을 방지하는 최적의 $k$ 값을 신뢰성 있게 식별할 수 있는가?
• RQ4 GAE, MGAE, ARGE 와 같은 최신 기반 GCN 기반 속성 부여 클러스터링 기법들과 비교해 AGC 는 성능과 효율성에서 어떻게 다른가?
• RQ5 AGC 는 희박한 인용 네트워크와 고밀도 웹 페이지 네트워크를 포함한 다양한 유형의 속성 부여 그래프에서 얼마나 일반화되는가?

주요 결과

• AGC 는 특징 중심 또는 구조 중심의 클러스터링 베이스라인 모두를 크게 앞서며, 속성과 구조의 통합 모델링의 유용성을 입증한다.
• Cora, Citeseer, Pubmed 에서 AGC 는 가장 강력한 베이스라인인 MGAE 를 상당히 앞서며, 정확도(최대 4.5%p 향상)와 정규화 상호정보량에서 개선을 보였다.
• 선택된 $k$ 값들(각각 Cora: 12, Citeseer: 55, Pubmed: 60, Wiki: 8) 이 범위 [0,60] 내 최적의 $k$ 와 매우 가까워, 적응형 선택 기준의 효과를 검증한다.
• AGC 는 높은 안정성을 보이며, 모든 데이터셋에서 정확도, NMI, F1 의 표준편차가 1% 미만이어서 강건성을 입증한다.
• 높은 순서의 컨볼루션을 사용하고도, ARGE 및 ARVGE 와 같은 학습 기반 기법들보다 더 효율적이며, Pubmed 와 같은 더 큰 그래프에서 빠른 추론 시간을 기록한다.
• 과도한 스무딩을 피한다는 점이 $d_{\text{intra}}(k) \leq 0$ 일 때 성능 저하가 관찰됨으로써 확인되며, 선택 기준의 타당성을 확인한다.