[논문 리뷰] Graph Representation Learning via Graphical Mutual Information Maximization

Zhen Peng, Wenbing Huang외 5명|arXiv (Cornell University)|2020. 02. 04.

Advanced Graph Neural Networks참고 문헌 41인용 수 45

한 줄 요약

논문은 입력 그래프(특징 및 토폴로지)와 노드 수준 출력 간의 상호정보를 최대화하여 비지도 방식으로 그래프 임베딩을 학습하는 Graphical Mutual Information (GMI)을 소개하며 FMI 기반 분해 및 MINE 기반 추정을 사용, 노드 분류 및 링크 예측에서 강력한 성능을 보임.

ABSTRACT

The richness in the content of various information networks such as social networks and communication networks provides the unprecedented potential for learning high-quality expressive representations without external supervision. This paper investigates how to preserve and extract the abundant information from graph-structured data into embedding space in an unsupervised manner. To this end, we propose a novel concept, Graphical Mutual Information (GMI), to measure the correlation between input graphs and high-level hidden representations. GMI generalizes the idea of conventional mutual information computations from vector space to the graph domain where measuring mutual information from two aspects of node features and topological structure is indispensable. GMI exhibits several benefits: First, it is invariant to the isomorphic transformation of input graphs---an inevitable constraint in many existing graph representation learning algorithms; Besides, it can be efficiently estimated and maximized by current mutual information estimation methods such as MINE; Finally, our theoretical analysis confirms its correctness and rationality. With the aid of GMI, we develop an unsupervised learning model trained by maximizing GMI between the input and output of a graph neural encoder. Considerable experiments on transductive as well as inductive node classification and link prediction demonstrate that our method outperforms state-of-the-art unsupervised counterparts, and even sometimes exceeds the performance of supervised ones.

연구 동기 및 목표

• 그래프의 풍부한 콘텐츠와 연결 정보를 활용하기 위해 라벨 없이 무감독 그래프 표현 학습을 촉진한다.
• 그래프 동형사이즈에 불변하고 노드 수준 학습에 확장 가능한 그래프 도메인 상의 상호정보(MI) 목표를 정의한다.
• 그래프적 상호정보를 노드 특징과 이웃 간의 해석 가능한 로컬 상호정보로 분해하되 토폴로지 인지를 반영한 가중치를 부여한다.
• 하류 작업을 위한 표현력이 풍부한 노드 임베딩을 생성하도록 GMI를 최적화하는 실용적인 엔코더–디코더 유사 프레임워크를 제안한다.

제안 방법

• 노드 임베딩과 이웃 특징 사이의 Feature Mutual Information(FMI)을 정의하고, 로컬 MI의 가중합으로 환원되는 분해를 보인다.
• 토폴로지 인지 가중치 w_ij와 가중치를 간선 특징에 연결하는 두 번째 항 I(w_ij; a_ij)를 포함하도록 FMI를 확장하여 Graphical Mutual Information (GMI)을 도입한다.
• 노드 수준에서 I(h_i; x_j)를 추정하기 위해 JSD 기반 목적을 갖는 Mutual Information Neural Estimation(MINE)을 사용하여 해석 가능하고 최적화 가능한 방법을 제공한다.
• MI 추정을 위한 이차식 판별자 D(h_i, x_j)를 채택하고 토폴로지적 근접성을 반영하기 위해 학습 가능한 attention-like 가중치 w_ij = σ(h_i^T h_j)을 허용한다.
• 두 가지 구현 변형: GMI-adaptive (w_ij = σ(h_i^T h_j))와 GMI-mean (상수 가중치 1/i_n)을 제공한다.
• 표준 GCN 인코더를 활용하고 엔드 투 엔드로 학습하여 전이적(transductive) 및 귀납적(inductive) 작업에 대해 GMI 목적을 최대화한다.

실험 결과

연구 질문

• RQ1 비지도 방식에서 입력 그래프와 노드 수준 임베딩 간의 상호정보를 어떻게 정의하고 최대화할 수 있는가?
• RQ2 노드 특징과 토폴로지를 모두 포함하는 그래프 도메인 MI 목표가 기존의 무감독 방법보다 우수한 표현을 생성할 수 있는가?
• RQ3 FMI 기반 분해와 토폴로지 인지 가중치를 결합하면 확장 가능하고 순서 불변(permutation-invariant)한 그래프 표현 학습이 가능하는가?
• RQ4 다양한 데이터셋(전이적(transductive) 및 귀납적(inductive))에서 GMI 기반 임베딩이 노드 분류 및 링크 예측에서 기준선(baselines)과 비교해 경쟁력 있거나 더 나은 성능을 달성하는가?

주요 결과

• GMI는 상호정보를 로컬 MI의 가중합과 토폴로지 항으로 분해하여 위상적으로 불변하고 해석 가능한 목적을 제공한다.
• MINE를 이용해 GMI를 최대화( JSD 추정기를 통해 )하면 노드 분류와 링크 예측 모두에 사용 가능한 표현력이 풍부한 노드 임베딩이 얻어진다.
• 실험 결과 제안된 방법이 최첨단 무감독 방법을 능가하고 여러 벤치마크에서 일부 감독 방법을 능가할 수 있음을 보였다.
• 이 방법은 전이적(transductive) 및 귀납적(inductive) 설정을 모두 지원하며 다양한 그래프 유형(인용 네트워크, 사회 네트워크, 단백질 네트워크)에서 강건함을 보여준다.
• 두 가지 변형(GMI-adaptive 및 GMI-mean)은 적응 가중치와 단순성 간의 트레이드오프를 제공하며 실험에서 경쟁력 있는 성능을 보인다.