[论文解读] Graph Representation Learning via Graphical Mutual Information Maximization

Zhen Peng, Wenbing Huang+5 more|arXiv (Cornell University)|Feb 4, 2020

Advanced Graph Neural Networks参考文献 41被引用 45

一句话总结

本论文提出 Graphical Mutual Information (GMI)，通过最大化输入图（特征与拓扑）与节点级输出之间的互信息，采用基于 FMI 的分解和基于 MINE 的估计，在节点分类和链接预测任务上表现出色，从而实现对图嵌入的无监督学习。

ABSTRACT

The richness in the content of various information networks such as social networks and communication networks provides the unprecedented potential for learning high-quality expressive representations without external supervision. This paper investigates how to preserve and extract the abundant information from graph-structured data into embedding space in an unsupervised manner. To this end, we propose a novel concept, Graphical Mutual Information (GMI), to measure the correlation between input graphs and high-level hidden representations. GMI generalizes the idea of conventional mutual information computations from vector space to the graph domain where measuring mutual information from two aspects of node features and topological structure is indispensable. GMI exhibits several benefits: First, it is invariant to the isomorphic transformation of input graphs---an inevitable constraint in many existing graph representation learning algorithms; Besides, it can be efficiently estimated and maximized by current mutual information estimation methods such as MINE; Finally, our theoretical analysis confirms its correctness and rationality. With the aid of GMI, we develop an unsupervised learning model trained by maximizing GMI between the input and output of a graph neural encoder. Considerable experiments on transductive as well as inductive node classification and link prediction demonstrate that our method outperforms state-of-the-art unsupervised counterparts, and even sometimes exceeds the performance of supervised ones.

研究动机与目标

• 在图中充分利用丰富的内容和连接信息，激发无标签的图表示学习。
• 定义一个图域互信息目标，具有对图同构的不变性，并可扩展到节点级学习。
• 将图形互信息分解为节点特征与邻居之间可处理的局部互信息，并进行拓扑感知加权。
• 提出一个实用的编码器-解码器式框架，通过优化 GMI 以生成可用于下游任务的表达性节点嵌入。

提出的方法

• 定义节点嵌入与邻居特征之间的 Feature Mutual Information (FMI)，并给出一个分解，使之产生局部互信息的加权和。
• 通过对 FMI 引入拓扑感知权重 w_ij 以及第二项 I(w_ij; a_ij)，将 Graphical Mutual Information (GMI) 概念扩展为将权重与边特征连接。
• 使用基于 JSD 的目标的 Mutual Information Neural Estimation (MINE) 来在节点层面估计 I(h_i; x_j)，从而实现可处理的优化。
• 采用双线性判别器 D(h_i, x_j) 进行 MI 估计，并允许可训练的类似注意力的权重 w_ij = σ(h_i^T h_j) 以反映拓扑近邻关系。
• 提供两种实现变体：GMI-adaptive (w_ij = σ(h_i^T h_j)) 和 GMI-mean (常数权重 1/i_n)。
• 使用标准的 GCN 编码器并端到端训练，以最大化 GMI 目标，适用于传导式和归纳式任务。

实验结果

研究问题

• RQ1 如何在无监督条件下定义并最大化输入图与节点级嵌入之间的互信息？
• RQ2 结合节点特征与拓扑结构的图域 MI 目标能否相比现有无监督方法产生更优的表示？
• RQ3 以 FMI 为基础的分解结合拓扑感知加权是否能实现可扩展、对置换不变的图表示学习？
• RQ4 基于 GMI 的嵌入在跨越不同数据集的节点分类和链接预测任务中（传导式和归纳式）是否达到或超过基线方法的性能？

主要发现

• GMI 通过将互信息分解为局部 MI 的加权和再加上拓扑项，提供了对拓扑不变、可处理的目标。
• 通过 MINE（借助 JSD 估计器）最大化 GMI，得到可用于节点分类和链接预测的表达性节点嵌入。
• 实验结果表明，该方法优于最先进的无监督方法，在若干基准上甚至超过某些监督方法。
• 该方法同时支持传导和归纳设置，并在不同图类型（引文、社交、蛋白网络）上表现出鲁棒性。
• 两种变体（GMI-adaptive 和 GMI-mean）在自适应加权与简化之间提供权衡，在实验中具有竞争力的表现。