[논문 리뷰] Cluster-guided Contrastive Graph Clustering Network

Xihong Yang, Yue Liu외 7명|arXiv (Cornell University)|2023. 01. 03.

Recommender Systems and Techniques인용 수 6

한 줄 요약

이 논문은 클러스터링 결과에서 유의미한 가짜 레이블을 활용하여 긍정 및 부정 샘플의 품질을 향상시키는 클러스터 가이드드 콘트라스트브 그래프 클러스터링 네트워크인 CCGC를 제안한다. 복잡한 데이터 증강에 의존하지 않고, 두 개의 공유되지 않은 시아모이스 인코더를 사용하여 두 개의 의미적 뷰를 생성하고, 동일한 클러스터 내에서 구분 가능한 긍정 쌍을 구성하며, 클러스터 중심을 신뢰할 수 있는 부정 샘플로 사용함으로써, 여섯 개인 벤치마크 데이터셋에서 최고 성능을 달성한다.

ABSTRACT

Benefiting from the intrinsic supervision information exploitation capability, contrastive learning has achieved promising performance in the field of deep graph clustering recently. However, we observe that two drawbacks of the positive and negative sample construction mechanisms limit the performance of existing algorithms from further improvement. 1) The quality of positive samples heavily depends on the carefully designed data augmentations, while inappropriate data augmentations would easily lead to the semantic drift and indiscriminative positive samples. 2) The constructed negative samples are not reliable for ignoring important clustering information. To solve these problems, we propose a Cluster-guided Contrastive deep Graph Clustering network (CCGC) by mining the intrinsic supervision information in the high-confidence clustering results. Specifically, instead of conducting complex node or edge perturbation, we construct two views of the graph by designing special Siamese encoders whose weights are not shared between the sibling sub-networks. Then, guided by the high-confidence clustering information, we carefully select and construct the positive samples from the same high-confidence cluster in two views. Moreover, to construct semantic meaningful negative sample pairs, we regard the centers of different high-confidence clusters as negative samples, thus improving the discriminative capability and reliability of the constructed sample pairs. Lastly, we design an objective function to pull close the samples from the same cluster while pushing away those from other clusters by maximizing and minimizing the cross-view cosine similarity between positive and negative samples. Extensive experimental results on six datasets demonstrate the effectiveness of CCGC compared with the existing state-of-the-art algorithms.

연구 동기 및 목표

• 기존의 콘트라스트브 그래프 클러스터링 방법이 취약한 데이터 증강에 의존하고 부정확한 부정 샘플을 사용하는 데서 비롯하는 한계를 해결하기 위해.
• 두 개의 공유되지 않은 인코더 뷰에서 고신뢰도 클러스터에서 유도된 긍정 샘플의 구분 능력을 향상시키기 위해.
• 임의의 또는 무작위로 선택된 샘플 대신 상호 클러스터 중심을 사용하여 부정 샘플의 신뢰성을 향상시키기 위해.
• 예측 가능한 그래프 데이터 증강(예: 엣지 제거 또는 특성 마스킹)으로 인한 의미적 드리프트를 제거하기 위해.
• 복잡한 증강 기법이나 사전 학습 모델에 의존하지 않고 딥 그래프 클러스터링에서 최고 성능을 달성하기 위해.

제안 방법

• 공유되지 않은 시아모이스 인코더를 사용하여 그래프의 두 개의 서로 다른 뷰를 생성함으로써, 데이터 증강으로 인한 의미적 드리프트를 방지한다.
• 두 뷰 간에 동일한 고신뢰도 클러스터에 속한 노드를 쌍으로 묶어 긍정 샘플을 구성한다.
• 다른 고신뢰도 클러스터의 중심을 의미적이고 신뢰할 수 있는 부정 샘플로 간주한다.
• 긍정 쌍에 대해서는 서로 다른 뷰 간의 코사인 유사도를 최대화하고, 부정 쌍에 대해서는 최소화하는 콘트라스트브 목적함수를 적용한다.
• 클러스터 신뢰도 기반으로 고신뢰도 가짜 레이블을 필터링하기 위해 동적 임계값 전략을 통합한다.
• 라플라시안 필터링을 활용한 자기 정교화 메커니즘을 통해 반복적으로 노드 표현을 개선한다.

실험 결과

연구 질문

• RQ1 고신뢰도 클러스터링 가짜 레이블을 효과적으로 활용하여 콘트라스트브 그래프 클러스터링에서 긍정 샘플의 품질을 향상시킬 수 있는가?
• RQ2 공유되지 않은 시아모이스 인코더로 데이터 증강을 대체할 경우 의미적 드리프트가 감소하고 표현 학습이 향상되는가?
• RQ3 임의로 선택된 노드보다 클러스터 중심이 더 신뢰할 수 있는 부정 샘플이 될 수 있는가?
• RQ4 제안된 방법은 클러스터링 정확도와 내구성 측면에서 최고 수준의 기준 대비 어떻게 비교되는가?
• RQ5 신뢰도 임계값 τ와 균형 계수 α와 같은 하이퍼파라미터의 선택에 대해 모델이 얼마나 내구성이 있는가?

주요 결과

• CCGC는 여섯 개의 벤치마크 데이터셋에서 최고 성능을 기록하며, NMI, F1, ARI 지표에서 기존 방법들을 모두 능가한다.
• CORA 데이터셋에서 CCGC는 NMI 87.89±1.71, F1 55.24±1.69, ARI 25.52±2.09를 기록하여 모든 기준 대비를 초월한다.
• 절단 실험 결과, 구분 가능한 긍정 샘플(DPS) 및 신뢰할 수 있는 부정 샘플(RNS) 전략이 모두 필수적임을 확인하였으며, 둘 중 하나를 제거할 경우 성능이 크게 떨어진다.
• 공유되지 않은 시아모이스 인코더를 사용하는 것이 엣지 제거, 특성 마스킹, 그래프 확산 등의 표준 데이터 증강 기법보다 우수한 성능을 내는 것으로 나타났다.
• 모델는 하이퍼파라미터 변화에 대해 뛰어난 내구성을 보이며, 다양한 데이터셋에서 τ(신뢰도 임계값)와 α(균형 계수)에 대해 민감하지 않다.
• t-SNE 시각화 결과, CCGC가 기존 방법보다 더 구분력 있고 잘 분리된 클러스터 구조를 학습하는 것으로 확인되었다.