[논문 리뷰] Bipartite Graph Embedding via Mutual Information Maximization

Jiangxia Cao, Xixun Lin외 4명|arXiv (Cornell University)|2020. 12. 10.

Advanced Graph Neural Networks참고 문헌 42인용 수 6

한 줄 요약

이 논문은 BiGI를 제안하며, 이는 이웃 엣지 표현(하나의 하위그래프 수준의 어텐션 메커니즘을 통해)과 전역 프로토타입 표현(동일한 노드 유형에서의 임베딩을 집계하여 생성) 간의 상호정보량을 최대화하여 전역 그래프 성질—예를 들어 커뮤니티 구조와 장거리 의존성—을 캡처하는 이분 그래프 임베딩 방법이다. BiGI는 여러 벤치마크에서 상위 K 추천 및 링크 예측 작업에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Bipartite graph embedding has recently attracted much attention due to the fact that bipartite graphs are widely used in various application domains. Most previous methods, which adopt random walk-based or reconstruction-based objectives, are typically effective to learn local graph structures. However, the global properties of bipartite graph, including community structures of homogeneous nodes and long-range dependencies of heterogeneous nodes, are not well preserved. In this paper, we propose a bipartite graph embedding called BiGI to capture such global properties by introducing a novel local-global infomax objective. Specifically, BiGI first generates a global representation which is composed of two prototype representations. BiGI then encodes sampled edges as local representations via the proposed subgraph-level attention mechanism. Through maximizing the mutual information between local and global representations, BiGI enables nodes in bipartite graph to be globally relevant. Our model is evaluated on various benchmark datasets for the tasks of top-K recommendation and link prediction. Extensive experiments demonstrate that BiGI achieves consistent and significant improvements over state-of-the-art baselines. Detailed analyses verify the high effectiveness of modeling the global properties of bipartite graph.

연구 동기 및 목표

• 기존의 이분 그래프 임베딩 방법들이 주로 국소 구조를 캡처하지만 동일한 노드 유형 간의 커뮤니티 구조 및 이질적 노드 간의 장거리 의존성을 유지하지 못하는 한계를 해결하기 위해.
• 랜덤 워크 기반 또는 재구성 기반 접근 방식에서 자주 간과되는 이분 그래프에서 국소 및 전역 그래프 성질을 명시적으로 모델링하는 통합 프레임워크를 개발하기 위해.
• 국소 및 전역 표현 간의 상호정보량 최대화를 통해 상위 K 추천 및 링크 예측과 같은 후행 작업에서 성능을 향상시키기 위해.
• 제안된 국소-전역 인포맥스 목적함수의 효과를 입증하기 위해, 즉각적인 이웃을 초월한 구조적 불변성을 캡처하는 데 성공할 수 있는지 여부를 확인하기 위해.

제안 방법

• BiGI는 각각 한 노드 유형(예: 사용자 또는 아이템)의 임베딩을 집계하여 형성된 두 개의 프로토타입 벡터를 사용하여 전역 표현을 구성함으로써, 커뮤니티 수준의 구조를 모델링할 수 있도록 한다.
• 국소 표현은 샘플링된 엣지를 인코딩하는 하위그래프 수준의 어텐션 메커니즘을 통해 생성되며, 구조적 사전 지식을 통합하여 주목할 만한 하위그래프 패턴을 강조한다.
• 국소 엣지 표현과 전역 프로토타입 표현 간의 상호정보량을 최대화하는 새로운 국소-전역 인포맥스 목적함수가 도입되어 국소 및 전역 의미를 정렬한다.
• 모델은 다양한 GNN 인코더(VGAE, NGCF, PinSage 등)와 호환되어 메시지 전달 메커니즘의 플러그 앤 플레이 통합을 가능하게 한다.
• 대조 학습 전략을 사용하며, 부정적 샘플링을 통해 그래프의 손상된 시각을 이용하여 상호정보량 목적함수를 미분 가능한 근사로 학습한다.
• 조화 평균 인자와 손상 비율은 상호정보량 추정의 안정성과 성능를 균형 잡기 위해 튜닝되는 하이퍼파라미터이다.

실험 결과

연구 질문

• RQ1 상호정보량 최대화 목적함수는 이분 그래프에서 동일한 노드 유형 간의 커뮤니티와 같은 전역 구조적 성질을 효과적으로 캡처할 수 있는가?
• RQ2 제안된 방법은 직접 연결되지 않은 이질적 노드 간의 장거리 의존성을 어느 정도 모델링할 수 있는가?
• RQ3 표준 이웃 집합 기반 집계 방식에 비해 하위그래프 수준의 어텐션 통합이 국소 표현 학습에 어떻게 향상되는가?
• RQ4 국소-전역 인포맥스 목적함수의 일반화 능력은 다양한 GNN 아키텍처와 데이터셋에 대해 어떻게 작용하는가?
• RQ5 손상 비율 및 조화 평균 인자와 같은 하이퍼파라미터 선택에 대해 모델의 강건성은 어느 정도인가?

주요 결과

• BiGI는 DBLP, Yelp, ML-100K를 포함한 여러 벤치마크 데이터셋에서 상위 K 추천 및 링크 예측 작업에서 최신 기술(SOTA) 기준선에 비해 일관되고 뚜렷한 성능 향상을 보였다.
• Calinski-Harabasz 지수를 사용한 클러스터링 분석에서 BiGI는 다양한 클러스터 수에서 가장 높은 점수를 기록하여 사용자 및 아이템 공간에서 커뮤니티 구조를 파악하는 데 뛰어난 능력을 보였다.
• 장거리 의존성 모델링에 있어 BiGI는 노드 쌍 간 거리가 7홉에 이르는 경우에도 높은 예측 점수를 유지하며, 모든 기준선보다 뛰어나며 거리가 증가함에 따라 성능 저하가 심각하게 발생하는 기준선들과는 대조를 이룬다.
• 제거 실험을 통해 하위그래프 수준의 어텐션 메커니즘이 국소 표현 품질을 뚜렷이 향상시키고, 제안된 인포맥스 목적함수가 다양한 인코더 아키텍처에서 일관되게 성능 향상을 이룬다는 것이 확인되었다.
• BiGI는 하이퍼파라미터 변화에 대해 강건하며, 최적의 성능은 낮은 손상 비율(β = 1e-5)과 중간 정도의 조화 평균 인자(λ = 0.3)에서 달성되며, 최악의 설정 조건에서도 기준선을 능가하는 성능을 보였다.
• BiGI를 VGAE, NGCF, PinSage와 통합함으로써 상당한 성능 향상이 이루어졌으며, 이는 국소-전역 인포맥스 목적함수가 다양한 GNN 아키텍처에 걸쳐 일반화 가능하다는 것을 확인한다.