[논문 리뷰] Variational Graph Generator for Multi-View Graph Clustering

Jianpeng Chen, Yawen Ling외 7명|arXiv (Cornell University)|2022. 10. 13.

Complex Network Analysis Techniques인용 수 4

한 줄 요약

이 논문은 변동형 추론을 사용하여 시각별 및 공통 그래프 구조를 동시에 학습하는 다중시각 그래프 클러스터링을 위한 변동형 그래프 생성기인 VGMGC를 제안한다. 여러 시각으로부터 희박하고 확률적인 공통 그래프를 추론하고, 이를 매개변수 없는 GNN 인코더를 통해 시각별 특징과 융합함으로써, 여덟 개인 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 클러스터링 정확도와 정규화 상호정보량 측면에서 이전 방법들을 능가한다.

ABSTRACT

Multi-view graph clustering (MGC) methods are increasingly being studied due to the explosion of multi-view data with graph structural information. The critical point of MGC is to better utilize view-specific and view-common information in features and graphs of multiple views. However, existing works have an inherent limitation that they are unable to concurrently utilize the consensus graph information across multiple graphs and the view-specific feature information. To address this issue, we propose Variational Graph Generator for Multi-View Graph Clustering (VGMGC). Specifically, a novel variational graph generator is proposed to extract common information among multiple graphs. This generator infers a reliable variational consensus graph based on a priori assumption over multiple graphs. Then a simple yet effective graph encoder in conjunction with the multi-view clustering objective is presented to learn the desired graph embeddings for clustering, which embeds the inferred view-common graph and view-specific graphs together with features. Finally, theoretical results illustrate the rationality of the VGMGC by analyzing the uncertainty of the inferred consensus graph with the information bottleneck principle.Extensive experiments demonstrate the superior performance of our VGMGC over SOTAs. The source code is publicly available at https://github.com/cjpcool/VGMGC.

연구 동기 및 목표

• 기존의 다중시각 그래프 클러스터링 방법들이 공통 그래프 구조와 시각별 특징 정보를 동시에 활용하지 못하는 한계를 해결하기 위해.
• 변동형 추론을 사용하여 다수의 시각으로부터 강건하고 희박한 공통 그래프를 생성함으로써, 특징과 그래프 수준의 공통성을 통합하는 방법을 개발하기 위해.
• 시각별 및 공통 그래프 정보를 특징과 효과적으로 융합하기 위한 단순하고 매개변수 없는 그래프 인코더를 설계하기 위해.
• 정보 차단 원리에 기반한 이론적 분석을 통해 추론된 공통 그래프의 불확실성에 대한 분석을 바탕으로 모델의 강건성을 이론적으로 정당화하기 위해.
• 다양한 다중시각 그래프 클러스터링 벤치마크에서 최신 기술 수준의 방법들과의 비교를 통해 VGMGC의 우수성을 실증적으로 검증하기 위해.

제안 방법

• 공통 그래프 생성을 위한 변동형 추론 과정을 이끄는 데 사용할 다중 그래프에 대한 사전 가정을 수립한다.
• 전역 특징과 다중시각 그래프 입력을 기반으로 각 에지가 공통 구조에 속할 확률을 모델링하여, 희박하고 이산적인 공통 그래프를 추론하는 변동형 그래프 생성기가 사용된다.
• 매개변수 없는 메시지 전달 메커니즘이 그래프 인코더에 사용되어 시각별 및 추론된 공통 그래프로부터 정보를 집계하며, 불필요한 매개변수 없이 GNN의 표현력을 유지한다.
• 시각별 임베딩을 통합하여 단일 잠재 표현을 생성하는 학습 가능한 집약 메커니즘을 통해 다중시각 표현을 융합한다.
• 클러스터링 손실, 공통 그래프의 재구성 손실, 그리고 변동형 추론을 통한 희박성 및 불확실성 제어를 위한 정규화 항을 포함하는 목적 함수가 조합된다.
• 정보 차단 원리를 활용한 이론적 분석을 통해 모델이 공통 그래프의 불확실성을 최소화함으로써 강건성을 정당화한다.

Figure 1: The illustration of VGMGC. $\oplus$ denotes concatenating operation. We first infer a cross-view consensus graph $\mathbf{\hat{S}}$ via the variational graph generator, and then, the variational consensus graph is normalized, and we feed it with each attributed view-specific graph into the

실험 결과

연구 질문

• RQ1 변동형 추론 기반 그래프 생성기는 여러 시각 간의 공통적인 구조적 특징을 효과적으로 추출하면서도 시각별 정보를 유지할 수 있는가?
• RQ2 시각별 및 공통 그래프 구조를 특징과 함께 공동으로 임베딩할 수 있는 단순하고 매개변수 없는 GNN 인코더는 어떻게 설계할 수 있는가?
• RQ3 제안된 방법은 다양한 데이터셋에서 최신 기술 수준의 다중시각 그래프 클러스터링 접근법보다 더 나은 클러스터링 성능을 달성하는가?
• RQ4 온도 τ 및 공통 가중치 ρ와 같은 하이퍼파rameter에 대해 모델은 얼마나 민감한가?
• RQ5 정보 차단 이론에 의해 정당화된 바에 비추어 볼 때, 추론된 공통 그래프가 불확실성을 얼마나 줄이고 강건성을 향상시키는가?

주요 결과

• VGMGC는 여덟 개의 다중시각 그래프 클러스터링 데이터셋에서 최신 기술 수준의 성능을 달성하며, 클러스터링 정확도와 정규화 상호정보량 모두에서 기존 방법들을 능가한다.
• DBLP 데이터셋에서 VGMGC는 최고의 단일시각 결과보다 NMI에서 2.5% 향상되었으며, 이는 다중시각 융합의 효과를 입증한다.
• 모델은 하이퍼파rameter ρ 및 τ의 다양한 값에서도 안정적인 성능을 보이며, 테스트 범위 내에서 NMI 변화는 3% 미만, ACC 변화는 3% 이내로 유지된다.
• 수렴 분석을 통해 모든 손실 성분이 약 100 에포크 이후 안정화됨을 확인하여 신뢰할 수 있는 학습 동역학을 보여준다.
• t-SNE를 통한 시각화 결과, 융합된 표현(Z̄)이 개별 시각에 존재하는 모호한 클러스터를 효과적으로 분리함을 확인하였으며, 특히 DBLP에서 세 번째 시각에 비해 뛰어난 성능을 보였다.
• 과도한 스무딩 분석 결과, 메시지 전달 순서가 높을수록 성능 향상이 이루어지며, 이는 VGMGC가 깊은 GNN에서의 특징 과도 스무딩을 효과적으로 완화함을 시사한다.

Figure 2: The Bayesian net of our variational graph generator about variables: $\mathbf{A}^{v}$ , $\mathbf{\hat{S}}$ , $\mathbf{\overline{X}}$ and $\mathbf{X}^{v}$ .