[논문 리뷰] Dink-Net: Neural Clustering on Large Graphs

Yue Liu, Ke Liang외 5명|arXiv (Cornell University)|2023. 05. 28.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

Dink-Net는 적대적 확장과 수축 손실 함수를 사용하여 표현 학습과 클러스터링 최적화를 종단 간 프레임워크로 통합하는 확장 가능한 딥 그래프 클러스터링 방법이다. ogbn-papers100M(111M개 노드, 16억 개 엣지)에서 런업 메서드 대비 9.62% 높은 NMI를 달성했으며, 전체 그래프의 확산 행렬이나 글로벌 클러스터링 분포를 처리하는 데 기인한 메모리 초과 및 긴 학습 시간 문제를 해결하면서 성능 저하 없이 미니배치 최적화를 통해 뛰어난 확장성과 효율성을 확보한다.

ABSTRACT

Deep graph clustering, which aims to group the nodes of a graph into disjoint clusters with deep neural networks, has achieved promising progress in recent years. However, the existing methods fail to scale to the large graph with million nodes. To solve this problem, a scalable deep graph clustering method (Dink-Net) is proposed with the idea of dilation and shrink. Firstly, by discriminating nodes, whether being corrupted by augmentations, representations are learned in a self-supervised manner. Meanwhile, the cluster centres are initialized as learnable neural parameters. Subsequently, the clustering distribution is optimized by minimizing the proposed cluster dilation loss and cluster shrink loss in an adversarial manner. By these settings, we unify the two-step clustering, i.e., representation learning and clustering optimization, into an end-to-end framework, guiding the network to learn clustering-friendly features. Besides, Dink-Net scales well to large graphs since the designed loss functions adopt the mini-batch data to optimize the clustering distribution even without performance drops. Both experimental results and theoretical analyses demonstrate the superiority of our method. Compared to the runner-up, Dink-Net achieves 9.62% NMI improvement on the ogbn-papers100M dataset with 111 million nodes and 1.6 billion edges. The source code is released at https://github.com/yueliu1999/Dink-Net. Besides, a collection (papers, codes, and datasets) of deep graph clustering is shared at https://github.com/yueliu1999/Awesome-Deep-Graph-Clustering.

연구 동기 및 목표

• 수백만 개의 노드를 가진 대규모 그래프에서 기존의 딥 그래프 클러스터링 방법의 확장성 한계를 해결한다.
• 전체 그래프의 확산 행렬이나 글로벌 클러스터링 분포를 처리하는 데 기인한 메모리 초과 및 긴 학습 시간 문제를 해결한다.
• 표현 학습과 클러스터링 최적화를 종단 간 프레임워크로 통합하여 클러스터링 友好的한 특징을 학습한다.
• 성능 저하 없이 대규모 그래프에서 미니배치 데이터를 사용한 효율적인 학습을 가능하게 한다.
• 낮은 메모리 및 시간 비용을 유지하면서 대규모 그래프 클러스터링 벤치마크에서 최신 기준 성능을 달성한다.

제안 방법

• 자기지도 학습 방식으로 원본 노드와 증강된 노드를 구별함으로써 표현을 학습하는 노드 식별 모듈을 제안한다.
• 학습 중 최적화되는 신경 파rameter로 가용 클러스터 중심을 도입한다.
• 두 가지 새로운 손실 함수를 설계한다: 클러스터 확장 손실(다른 클러스터를 서로 멀어지게 함)과 클러스터 수축 손실(샘플을 클러스터 중심으로 끌어당김), 이는 적대적으로 최적화된다.
• 미니배치 데이터를 사용해 분류 손실과 클러스터링 손실을 모두 계산하여 대규모 그래프로의 확장성을 확보한다.
• 표현 학습과 클러스터링 최적화를 하나의 종단 간 학습 파이프라인으로 통합한다.
• 이중 단계 학습 과정을 활용한다: 노드 식별을 통한 사전 학습, 이후 클러스터링 손실을 통한 미세조정.

실험 결과

연구 질문

• RQ1 1억 개 이상의 노드를 가진 그래프에 대해 딥 그래프 클러스터링을 성능 저하 없이 효과적으로 확장할 수 있는가?
• RQ2 확장과 수축 손실을 통한 클러스터링 분포의 적대적 최적화가 대규모 그래프에서 클러스터링 성능을 향상시킬 수 있는가?
• RQ3 표현 학습과 클러스터링 최적화를 종단 간으로 통합 최적화하면 분리된 접근 방식보다 더 나은 클러스터링 친화적인 특징을 얻을 수 있는가?
• RQ4 미니배치 기반의 클러스터링 손실 계산은 대규모 그래프에서 성능을 유지하면서도 메모리 초과 문제를 방지할 수 있는가?
• RQ5 대규모 그래프 데이터셋에서 최신 기준 베이스라인과 비교해 Dink-Net의 확장성, 효율성, 클러스터링 성능은 어떻게 되는가?

주요 결과

• Dink-Net는 11100만 개의 노드와 16억 개의 엣지를 가진 ogbn-papers100M 데이터셋에서 런업 메서드 대비 9.62% 높은 NMI를 달성한다.
• Dink-Net는 ogbn-papers100M에서 학습 시간을 약 12시간(9시간 사전 학습, 3시간 미세조정)으로 줄였으며, 다른 방법은 CPU에서 약 5일이 소요된다.
• Dink-Net는 ogbn-papers100M에서 약 20GB의 GPU 메모리만을 사용하여, 40GB GPU에서도 메모리 초과 오류가 발생하는 베이스라인 방법과는 달리 메모리 초과를 방지한다.
• 이 방법은 일곱 개의 벤치마크 데이터셋 전반에서 높은 성능을 유지하여 강력한 확장성과 내구성을 입증한다.
• 이론적 및 실증적 분석을 통해 확장과 수축 손실이 미니배치 환경에서 클러스터링 분포를 효과적으로 최적화함을 확인한다.
• 종단 간 프레임워크는 S3GC와 같이 표현 학습과 클러스터링 최적화를 분리한 방법보다 더 나은 클러스터링 성능을 낳는다.