[논문 리뷰] Graph InfoClust: Leveraging cluster-level node information for unsupervised graph representation learning

Costas Mavromatis, George Karypis|arXiv (Cornell University)|2020. 09. 15.

Advanced Graph Neural Networks참고 문헌 33인용 수 48

한 줄 요약

Graph InfoClust (GIC)는 differentiable K-means 클러스터-수준 요약을 도입하여 상호 정보 최대화를 통해 더 풍부한 노드 임베딩을 생성하고, 이를 통해 여러 데이터셋에서 노드 분류, 링크 예측 및 클러스터링 성능을 향상합니다.

ABSTRACT

Unsupervised (or self-supervised) graph representation learning is essential to facilitate various graph data mining tasks when external supervision is unavailable. The challenge is to encode the information about the graph structure and the attributes associated with the nodes and edges into a low dimensional space. Most existing unsupervised methods promote similar representations across nodes that are topologically close. Recently, it was shown that leveraging additional graph-level information, e.g., information that is shared among all nodes, encourages the representations to be mindful of the global properties of the graph, which greatly improves their quality. However, in most graphs, there is significantly more structure that can be captured, e.g., nodes tend to belong to (multiple) clusters that represent structurally similar nodes. Motivated by this observation, we propose a graph representation learning method called Graph InfoClust (GIC), that seeks to additionally capture cluster-level information content. These clusters are computed by a differentiable K-means method and are jointly optimized by maximizing the mutual information between nodes of the same clusters. This optimization leads the node representations to capture richer information and nodal interactions, which improves their quality. Experiments show that GIC outperforms state-of-art methods in various downstream tasks (node classification, link prediction, and node clustering) with a 0.9% to 6.1% gain over the best competing approach, on average.

연구 동기 및 목표

• 로컬 및 글로벌 그래프 구조를 모두 인코딩하는 비지도 그래프 표현 학습을 촉진한다.
• 클러스터 수준 정보를 활용하여 글로벌 그래프 요약을 넘는 더 풍부한 노드 상호 작용을 포착한다.
• 상호 정보 최대화와 통합된 differentiable K-means 기반 클러스터 콘텐츠 모듈을 제안한다.
• GIC가 표준 벤치마크에서 노드 분류, 링크 예측 및 클러스터링을 개선함을 입증한다.

제안 방법

• 노드 임베딩과 노드 표현의 평균을 통해 글로벌 그래프 요약을 얻기 위해 GNN 인코더를 사용한다.
• differentiable K-means 계층을 도입하여 차별화 가능한 K 군집-레벨 요약을 소개하고 각 노드 z_i를 군집 중심의 소수 결합된 평균으로 계산한다.
• 노드 임베딩 h_i와 글로벌 요약 s, 해당하는 클러스터 요약 z_i 간의 상호 정보를 D1 및 DK 판별기를 사용해 최대화한다.
• 그래프-레벨 정보와 클러스터-레벨 정보를 균형 있게 다루기 위해 MI 목표를 가중합 L = alpha L1 + (1 - alpha) L_K로 결합한다.
• 깊은 그래프 인포맥스(DGI) 스타일에 따라 음수 샘플을 만들기 위해 노드 특성을 섞어 입력을 손상시킨다.
• 원층 GCN 인코더, 클러스터-레벨 MI에 대해 코사인 유사도, mu_k와 r_ik를 학습하기 위한 엔드투엔드 미분가능한 클러스터링 업데이트(ClusterNet 스타일)를 사용한다.
• Adam으로 학습하고, Glorot 초기화, 조기 중단; 임베딩 차원 F'(노드 분류용 64)로 설정하고 다양한 데이터셋에서 실험한다.

실험 결과

연구 질문

• RQ1 differentiable K-means를 통한 클러스터-레벨 요약을 도입하면 비지도 그래프 표현이 전반적으로 글로벌 그래프 요약만 사용하는 경우를 넘어 개선되는가?
• RQ2 GIC가 학습한 노드 임베딩이 클러스터 구조를 더 잘 포착하고 다운스트림 작업을 위한 더 높은 품질의 표현을 제공하는가?
• RQ3 그래프-레벨 MI와 클러스터-레벨 MI 사이의 트레이드오프(alpha로 제어)가 성능과 임베딩 기하에 어떤 영향을 미치는가?
• RQ4 GIC가 DGI 및 다른 베이스라인에 비해 데이터세트 및 임베딩 차원에서 강건한가?

주요 결과

• GIC는 여러 데이터셋에서 노드 분류에서 DGI를 지속적으로 능가하며 평균 이득은 데이터셋 및 설정에 따라 0.4%에서 2% 이상이다.
• GIC는 링크 예측과 클러스터링에서도 뚜렷한 향상을 달성하며, 링크 예측에서 평균 이득은 최대 2.5%, 클러스터링은 최고 경쟁 접근법 대비 약 15.5 퍼센트 포인트까지 달성한다.
• GIC는 임베딩의 실루엣 점수와 클래스 구조를 더 잘 분리된 형태로 제공하며, 특히 제한된 임베딩 차원(F'가 베이스라인보다 작은 경우에 두드러진다).
• 데이터세트 전반에 걸쳐 GIC는 때때로 준지도 학습 방법과 일치하거나 이를 상회하며 경쟁적이거나 더 작은 임베딩 크기를 사용한다.
• 아블레이션 연구는 그래프 MI와 클러스터 MI의 균형(alpha 약 0.5) 및 적절한 beta 및 K 값이 더 나은 클러스터링 및 전반적인 성능을 보임을 시사한다.