[논문 리뷰] Hard Sample Aware Network for Contrastive Deep Graph Clustering

Yue Liu, Xihong Yang외 8명|arXiv (Cornell University)|2022. 12. 16.

Complex Network Analysis Techniques인용 수 9

한 줄 요약

이 논문은 하드 샘플 인식 네트워크(HSAN)를 제안하며, 속성과 구조 유사성의 공동 모델링 및 하드 양성/음성 쌍에 대한 동적 가중치 부여를 통해 하드 샘플 마이닝을 향상시키는 대비적 딥 그래프 클러스터링 방법이다. 고신뢰도 가짜 레이블과 학습 가능한 유사성 기준을 통합함으로써 클러스터링 성능을 향상시켜, 기준 모델 대비 CORA에서 최대 8.48% 높은 NMI를 달성한다.

ABSTRACT

Contrastive deep graph clustering, which aims to divide nodes into disjoint groups via contrastive mechanisms, is a challenging research spot. Among the recent works, hard sample mining-based algorithms have achieved great attention for their promising performance. However, we find that the existing hard sample mining methods have two problems as follows. 1) In the hardness measurement, the important structural information is overlooked for similarity calculation, degrading the representativeness of the selected hard negative samples. 2) Previous works merely focus on the hard negative sample pairs while neglecting the hard positive sample pairs. Nevertheless, samples within the same cluster but with low similarity should also be carefully learned. To solve the problems, we propose a novel contrastive deep graph clustering method dubbed Hard Sample Aware Network (HSAN) by introducing a comprehensive similarity measure criterion and a general dynamic sample weighing strategy. Concretely, in our algorithm, the similarities between samples are calculated by considering both the attribute embeddings and the structure embeddings, better revealing sample relationships and assisting hardness measurement. Moreover, under the guidance of the carefully collected high-confidence clustering information, our proposed weight modulating function will first recognize the positive and negative samples and then dynamically up-weight the hard sample pairs while down-weighting the easy ones. In this way, our method can mine not only the hard negative samples but also the hard positive sample, thus improving the discriminative capability of the samples further. Extensive experiments and analyses demonstrate the superiority and effectiveness of our proposed method.

연구 동기 및 목표

• 기존의 대비적 딥 그래프 클러스터링 방법이 하드니스 측정에서 구조 정보를 간과하는 데서 비롯되는 한계를 해결하기 위해.
• 이전 연구에서 하드 양성 샘플이 간과됨으로써 분류 능력이 제한되는 문제를 극복하기 위해.
• 더 나은 클러스터링을 위해 하드 양성 및 음성 샘플을 동시에 마이닝하는 통합 프레임워크를 제안하기 위해.
• 고신뢰도 클러스터링 가짜 레이블을 기반으로 한 동적 샘플 가중치 전략을 설계하여 모델이 어려운 샘플에 집중하도록 유도하기 위해.
• 기본 그래프 데이터셋에서의 광범위한 실험을 통해 제안된 방법의 유효성을 검증하기 위해.

제안 방법

• HSAN은 노드 속성과 그래프 구조에 대해 별도의 인코더를 사용하여 공유 잠재 공간 내에서 공동 표현을 학습한다.
• 포괄적인 유사성 측정 방식은 학습 가능한 선형 조합을 통해 속성 및 구조 임베딩을 조합하여 샘플 간 관계를 더 잘 포착한다.
• 클러스터링에서 유도된 고신뢰도 가짜 레이블을 사용하여 잠재적인 양성 및 음성 샘플 쌍을 식별한다.
• 동적 가중치 조절 함수는 낮은 유사도를 가진 양성 샘플과 높은 유사도를 가진 음성 샘플—즉, 하드 샘플 쌍을 강조하여 가중치를 높이고, 쉬운 쌍은 낮춘다.
• 이 함수를 사용해 대비 손실을 재가중함으로써, 학습 중에 네트워크가 어려운 샘플에 집중하도록 이끈다.
• 이 방법은 계산 비용이 효율적이며, 표준 infoNCE 손실과 유사한 시간 및 공간 복잡도를 가진다.

실험 결과

연구 질문

• RQ1 속성과 구조 정보를 함께 모델링하는 것이 대비 그래프 클러스터링에서 하드니스 측정에 어떤 영향을 미치는가?
• RQ2 하드 양성 및 음성 쌍을 모두 고려한 동적 샘플 가중치 부여가 클러스터링 성능을 향상시킬 수 있는가?
• RQ3 고신뢰도 가짜 레이블의 통합이 하드 샘플 마이닝의 신뢰성에 어떤 영향을 미치는가?
• RQ4 제안된 유사성 함수와 가중치 조절 함수가 다양한 데이터셋에서 클러스터링 지표에 미치는 영향은 어떠한가?
• RQ5 신뢰도 임계값과 집중 인자와 같은 하이퍼파라미터의 선택에 대해 제안된 방법이 얼마나 강인한가?

주요 결과

• HSAN은 기준 모델 대비 CORA 데이터셋에서 최대 8.48% 높은 NMI를 달성하여 뚜렷한 성능 향상을 보였다.
• 속성-구조 유사성 함수와 가중치 조절 함수의 조합이 가장 우수한 성능을 내며, 개별적으로 사용했을 때보다 뛰어난 성능을 보였다.
• 모델은 350 에포크 이후 안정적으로 수렴하였고, 손실과 정확도가 학습 과정에서 점차 향상되었다.
• 동적 가중치 전략은 초기에 손실 값을 높였지만, 하드 샘플에 집중함으로써 더 높은 클러스터링 정확도를 달성했다.
• HSAN은 하이퍼파라미터 변화에 뛰어나게 강인한 편이었으며, 특히 탈락 인자 β에 대해 아보레이션 연구에서 최소한의 민감도를 보였다.
• t-SNE 시각화 결과, 경쟁 방법들보다 HSAN이 더 분류 능력이 뛰어나고 잘 분리된 노드 표현을 학습하는 것으로 확인되었다.