[논문 리뷰] COIN: Co-Cluster Infomax for Bipartite Graphs

Baoyu Jing, Yuchen Yan외 2명|arXiv (Cornell University)|2022. 05. 31.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

COIN은 이원 그래프에 대한 새로운 자기 지율 학습 프레임워크를 제안하며, 두 노드 유형의 공통 클러스터 간 상호정보를 최대화하여 노드 임베딩을 향상시킵니다. 기존 방법들이 신경망을 통해 상호정보를 추정하는 데 반해, COIN은 이를 직접 계산함으로써 엔드 투 엔드로 미분 가능한 공통 클러스터링을 가능하게 하여 링크 예측, 추천, 클러스터링 작업에서 성능을 향상시킵니다.

ABSTRACT

Bipartite graphs are powerful data structures to model interactions between two types of nodes, which have been used in a variety of applications, such as recommender systems, information retrieval, and drug discovery. A fundamental challenge for bipartite graphs is how to learn informative node embeddings. Despite the success of recent self-supervised learning methods on bipartite graphs, their objectives are discriminating instance-wise positive and negative node pairs, which could contain cluster-level errors. In this paper, we introduce a novel co-cluster infomax (COIN) framework, which captures the cluster-level information by maximizing the mutual information of co-clusters. Different from previous infomax methods which estimate mutual information by neural networks, COIN could easily calculate mutual information. Besides, COIN is an end-to-end coclustering method which can be trained jointly with other objective functions and optimized via back-propagation. Furthermore, we also provide theoretical analysis for COIN. We theoretically prove that COIN is able to effectively increase the mutual information of node embeddings and COIN is upper-bounded by the prior distributions of nodes. We extensively evaluate the proposed COIN framework on various benchmark datasets and tasks to demonstrate the effectiveness of COIN.

연구 동기 및 목표

• 기존 자기 지율 학습 방법이 인스턴스 수준의 대비 학습에 집중하고 클러스터 수준의 구조를 忽시하는 한계를 해결한다.
• 학습 목표에 공통 클러스터 정보를 통합하여 노드 임베딩 품질을 향상시킨다.
• 기본적으로 백프로파게이션을 통해 다른 목표와 함께 공동 최적화가 가능한 엔드 투 엔드로 미분 가능한 공통 클러스터링 프레임워크를 개발한다.
• 공통 클러스터 간 상호정보와 노드 임베딩 간 상호정보 간 이론적 관계를 분석하고, 이전 분포 기반의 상한을 설정한다.
• 실제 벤치마크 데이터셋에서 링크 예측, 추천, 클러스터링 등의 다양한 하류 작업에서 COIN의 유효성을 입증한다.

제안 방법

• 이원 그래프의 두 노드 유형에 대해 노드 임베딩과 공통 클러스터를 동시에 학습하는 공통 클러스터 인포맥스(COIN) 프레임워크를 제안한다.
• 신경망 추정을 피하기 위해 상호정보의 폐쇄형 계산을 사용하여 사용자(U)와 항목(V)의 공통 클러스터 간 상호정보를 최대화한다.
• 두 노드 유형의 클러스터 할당을 생성하기 위해 신경망을 사용하여 백프로파게이션을 통한 미분 가능한 최적화를 가능하게 한다.
• 목표를 I(ϕ_U(U); ϕ_V(V))의 최대화로 설정하며, 여기서 ϕ_U와 ϕ_V는 각각 U와 V에 대한 클러스터링 함수이다.
• 링크 예측이나 재구성과 같은 다른 목표와 함께 공동으로 훈련할 수 있도록 COIN을 미분 가능한 모듈로 통합한다.
• 이론적 분석은 공통 클러스터 간 상호정보를 최대화할 경우 노드 임베딩 간 상호정보가 증가하며, 그래프의 사전 분포에 의해 상한이 정해진다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 두 노드 유형의 공통 클러스터 간 상호정보를 최대화하는 것이 이원 그래프에서의 노드 임베딩 품질 향상에 기여하는가?
• RQ2 공통 클러스터링에서 상호정보를 직접 계산하는 것이 신경망 기반 추정 방법에 비해 신뢰성과 성능 면에서 뛰어나지 않는가?
• RQ3 공통 클러스터링 목표를 미분 가능하게 만들고 다른 학습 목표와 함께 엔드 투 엔드 훈련 파이프라인에 통합할 수 있는가?
• RQ4 COIN은 링크 예측 및 추천과 같은 하류 작업에서 기존 자기 지율 및 대비 학습 방법과 비교해 어떻게 성능을 낼 수 있는가?
• RQ5 COIN의 상호정보 최대화에 대해 어떤 이론적 보장이 존재하는가? 특히 상한과 수렴 성질에 관해 설명할 수 있는가?

주요 결과

• COIN은 클러스터 수준의 구조를 포착함으로써 노드 임베딩 품질을 크게 향상시켜, 인스턴스 수준의 대비 기반 베이스라인에 비해 하류 작업에서 더 우수한 성능을 보였다.
• COIN은 신경망 기반 상호정보 추정기에서 흔히 발생하는 불안정성과 추정 오류를 피하기 위해 상호정보를 직접 계산함으로써 안정성과 정확성을 확보했다.
• 여러 벤치마크 데이터셋에서 링크 예측, 추천, 클러스터링 작업에서 최고 수준 또는 경쟁력 있는 성능을 달성했다.
• 이론적 분석은 공통 클러스터 간 상호정보를 최대화할 경우 노드 임베딩 간 상호정보가 증가하며, 이는 방법의 설계가 타당함을 검증했다.
• 공통 클러스터의 상호정보는 이원 그래프의 사전 분포에 의해 상한이 정해지며, 이는 방법의 수렴에 대한 이론적 기반을 제공한다.
• COIN은 엔드 투 엔드로 훈련 가능하며, 다른 미분 가능한 목표와 함께 공동 최적화가 가능하여 기존 GNN 파이프라인에 탄력적으로 통합될 수 있다.