[논문 리뷰] Improved Dual Correlation Reduction Network

Yue Liu, Sihang Zhou외 3명|arXiv (Cornell University)|2022. 02. 25.

Advanced Graph Neural Networks인용 수 8

한 줄 요약

이 논문은 교차 뷰 특징 및 샘플 상관관계의 중복을 줄임으로써 특징과 샘플의 분류 능력을 향상시키는 새로운 딥 그래프 클러스터링 방법인 개선된 이중 상관관계 감소 네트워크(IDCRN)를 제안한다. 교차 뷰 상관관계 행렬을 각각 항등행렬과 클러스터링 보정된 인접행렬에 근사시키고, 전파 정규화를 통합함으로써 IDCRN은 표현 붕괴를 완화하고, 대비 기반 기준보다 평균 54%의 GPU 메모리 절감을 이룩하며 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Deep graph clustering, which aims to reveal the underlying graph structure and divide the nodes into different clusters without human annotations, is a fundamental yet challenging task. However, we observed that the existing methods suffer from the representation collapse problem and easily tend to encode samples with different classes into the same latent embedding. Consequently, the discriminative capability of nodes is limited, resulting in sub-optimal clustering performance. To address this problem, we propose a novel deep graph clustering algorithm termed Improved Dual Correlation Reduction Network (IDCRN) through improving the discriminative capability of samples. Specifically, by approximating the cross-view feature correlation matrix to an identity matrix, we reduce the redundancy between different dimensions of features, thus improving the discriminative capability of the latent space explicitly. Meanwhile, the cross-view sample correlation matrix is forced to approximate the designed clustering-refined adjacency matrix to guide the learned latent representation to recover the affinity matrix even across views, thus enhancing the discriminative capability of features implicitly. Moreover, we avoid the collapsed representation caused by the over-smoothing issue in Graph Convolutional Networks (GCNs) through an introduced propagation regularization term, enabling IDCRN to capture the long-range information with the shallow network structure. Extensive experimental results on six benchmarks have demonstrated the effectiveness and the efficiency of IDCRN compared to the existing state-of-the-art deep graph clustering algorithms.

연구 동기 및 목표

• 다양한 클래스의 노드가 동일한 잠재 임베딩으로 인코딩되는 표현 붕괴 문제를 해결하기 위해.
• 특징 중복을 명시적으로 줄이고, 뷰 간 친화도 행렬 복구를 암묵적으로 유도함으로써 노드 임베딩의 분류 능력을 향상시키기 위해.
• 깊은 아키텍처에 의존하지 않고 전파 정규화 항을 사용하여 GCN에서의 과도한 스무딩을 완화하기 위해.
• 대비 학습 방법에서 흔히 사용되는 음성 샘플 생성을 제거함으로써 GPU 메모리 소비를 줄이기 위해.
• 여섯 개의 벤치마크 데이터셋에서 개선된 효율성과 표현 명확성으로 최신 기술 수준의 클러스터링 성능을 달성하기 위해.

제안 방법

• 두 개의 증강된 그래프 뷰로부터 노드 표현을 학습하기 위해 시아미즈 GCN 인코더를 사용한다.
• 교차 뷰 특징 상관관계 행렬이 항등행렬에 근사하도록 강제하여, 상호 특징 중복을 줄이고 명시적인 분류 능력을 향상시킨다.
• 교차 뷰 샘플 상관관계 행렬이 클러스터링 보정된 인접행렬에 근사하도록 제약을 두어, 모델이 뷰 간 진짜 친화도 구조를 복구하도록 암묵적으로 유도한다.
• 얕은 GCN 아키텍처에서 과도한 스무딩을 방지하기 위해 전파 정규화 항을 도입하여 장거리 의존성을 유지한다.
• 음성 샘플 생성을 회피함으로써 대비 학습 기준 대비 GPU 메모리 사용을 크게 줄였다.
• 상관관계 최소화와 클러스터링 인식 정규화를 결합한 공동 손실을 사용하여 엔드 투 엔드로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 교차 뷰 특징 상관관계를 줄임으로써 딥 그래프 클러스터링에서 학습된 노드 표현의 분류 능력이 향상될 수 있는가?
• RQ2 뷰 간 진짜 친화도 행렬을 복구하도록 모델을 유도함으로써 명시적 감독 없이도 클러스터링 성능을 향상시킬 수 있는가?
• RQ3 음성 샘플링을 상관관계 기반 정규화로 대체함으로써 GPU 메모리 소비를 줄일 수 있을까, 성능은 유지되거나 향상되는가?
• RQ4 얕은 GCN 아키텍처에서 전파 정규화 항을 통해 과도한 스무딩을 피하고도 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 제안된 이중 상관관계 감소 메커니즘이 실제 그래프 벤치마크에서 표현 붕괴를 얼마나 효과적으로 완화하는가?

주요 결과

• IDCRN은 DBLP, CITE, ACM 등 여섯 개의 벤치마크 데이터셋에서 최신 기술 수준의 클러스터링 성능을 달성하며, 기존 SOTA 방법을 초월한다.
• 음성 샘플 생성을 제거함으로써 MVGRL 대비 평균 약 54%의 GPU 메모리 사용을 절감한다.
• t-SNE 시각화 결과 IDCRN은 GAE, MVGRL, SDCN에 비해 잠재 공간에서 더 명확하고 분리 가능한 클러스터 구조를 학습함을 보여준다.
• IDCRN에서 학습 에포크가 진행될수록 노드 임베딩이 점점 더 구조화되고 잘 분리됨을 보여주며, 안정적이고 효과적인 최적화를 의미한다.
• IDCRN의 교차 뷰 샘플 상관관계 행렬이 정밀하게 보정된 인접행렬에 매우 가까이 근사함을 확인하여, 뷰 간 효과적인 친화도 복구가 이루어졌음을 확인한다.
• 전파 정규화 항이 과도한 스무딩을 효과적으로 완화하여, 얕은 네트워크에서도 효과적인 장거리 정보 집합을 가능하게 한다.