[논문 리뷰] Deep Temporal Graph Clustering

Meng Liu, Yue Liu외 5명|arXiv (Cornell University)|2023. 05. 18.

Complex Network Analysis Techniques인용 수 25

한 줄 요약

이 논문은 상호작용 시퀀스 배치를 적응하는 딥 클러스터링 모듈을 활용하는 시계열 그래프에 대한 비지도 클러스터링의 일반 프레임워크인 TGC를 제안하여, 정적 그래프 방법보다 더 나은 확장성 및 클러스터링 성능을 달성한다.

ABSTRACT

Deep graph clustering has recently received significant attention due to its ability to enhance the representation learning capabilities of models in unsupervised scenarios. Nevertheless, deep clustering for temporal graphs, which could capture crucial dynamic interaction information, has not been fully explored. It means that in many clustering-oriented real-world scenarios, temporal graphs can only be processed as static graphs. This not only causes the loss of dynamic information but also triggers huge computational consumption. To solve the problem, we propose a general framework for deep Temporal Graph Clustering called TGC, which introduces deep clustering techniques to suit the interaction sequence-based batch-processing pattern of temporal graphs. In addition, we discuss differences between temporal graph clustering and static graph clustering from several levels. To verify the superiority of the proposed framework TGC, we conduct extensive experiments. The experimental results show that temporal graph clustering enables more flexibility in finding a balance between time and space requirements, and our framework can effectively improve the performance of existing temporal graph learning methods. The code is released: https://github.com/MGitHubL/Deep-Temporal-Graph-Clustering.

연구 동기 및 목표

• 동적 상호작용 정보를 보존하는 시계열 그래프 클러스터링의 필요성을 동기화한다.
• 클러스터링 기법을 배치 기반 시계열 데이터에 적응시키는 일반적이고 확장 가능한 프레임워크(TGC)를 제안한다.
• 메모리 병목 현상을 완화하면서 시계열 그래프에서 효과적인 노드 클러스터링을 가능하게 한다.
• 기존 시계열 그래프 학습 모델에 대한 프레임워크의 전달 가능성을 입증한다.

제안 방법

• 두 가지 고전적 딥 클러스터링 구성요소를 시계열 그래프에 적용한다: 노드 수준 분포와 배치 수준 재구성.
• 상호작용 동역학을 모델링하기 위해 Hawkes 프로세스에서 영감을 받은 시계열 손실을 사용한다.
• 클러스터링을 이끄는 KL 발산 손실 L_node를 유도하기 위해 노드 수준 소프트 할당 q와 타깃 분포 p를 구현한다.
• 배치 내 인접 관계를 보존하기 위한 코사인 유사도 기반의 배치 수준 의사 재구성 손실 L_batch을 구현한다.
• 전반적인 클러스터링 손실 L_clu = L_node + L_batch, 여기에 시계열 손실 L_tem를 결합한 엔드-투-엔드 목적 함수 L = edges에 대해 합산 (L_tem + L_clu).
• 복잡도를 O(|E|)로 분석하고 정적 인접 행렬 클러스터링의 O(N^2)보다 메모리 이점이 있음을 보여준다.

실험 결과

연구 질문

• RQ1 클러스터링 모듈을 시계열 그래프의 배치 처리 패턴에 맞게 어떻게 재구성할 수 있는가?
• RQ2 시계열 그래프가 정적 그래프에 비해 클러스터링에서 메모리와 확장성 이점을 제공하는가?
• RQ3 제안된 TGC 프레임워크가 기존 시계열 그래프 모델에 적용될 때 클러스터링 성능을 개선할 수 있는가?
• RQ4 시계열 그래프 클러스터링의 실용적 데이터, 복잡도 및 전달 가능성 고려사항은 무엇인가?
• RQ5 시계열 그래프 클러스터링 개발을 저해하는 한계점과 데이터 요구사항은 무엇인가?

주요 결과

• TGC는 메모리 효율적인 시계열 클러스터링을 가능하게 하며 복잡도는 대략 O(|E|) 수준으로, 일반적으로 정적 O(N^2) 방법보다 훨씬 낮다.
• 시계열 배치 처리는 대규모 시계열 그래프(arXivAI/arXivCS 등)에서 효과적인 클러스터링을 가능하게 하며, 정적 방법은 어려움을 겪거나 메모리 초과가 발생한다.
• TGC는 HTNE, TGN, TREND 등 여러 시계열 그래프 기반의 벤치마크에서 시계열 동적 정보를 클러스터링 손실에 통합해 클러스터링 성능을 개선한다.
• 시계열 그래프 클러스터링은 배치 크기 조정을 통해 시간 대 공간 요구 간의 균형을 맞추는 데 유연성을 보인다.
• 두 개의 신규 데이터셋(arXivAI, arXivCS)은 도메인에서 파생된 노드 레이블을 통해 대형 시계열 그래프에 적용 가능성을 보여주며 클러스터링 평가를 가능하게 한다.
• 실험 결과 TGC가 종종 선도적인 누계 결과를 낳고 대형 그래프의 메모리 병목을 완화하는 경향이 있다.