[论文解读] Graph InfoClust: Leveraging cluster-level node information for unsupervised graph representation learning

Costas Mavromatis, George Karypis|arXiv (Cornell University)|Sep 15, 2020

Advanced Graph Neural Networks参考文献 33被引用 48

一句话总结

Graph InfoClust (GIC) 通过引入可微分的 K-means 聚类级摘要来最大化互信息，扩展了 Deep Graph Infomax，产生更丰富的节点嵌入，从而在多个数据集上提升节点分类、链路预测和聚类性能。

ABSTRACT

Unsupervised (or self-supervised) graph representation learning is essential to facilitate various graph data mining tasks when external supervision is unavailable. The challenge is to encode the information about the graph structure and the attributes associated with the nodes and edges into a low dimensional space. Most existing unsupervised methods promote similar representations across nodes that are topologically close. Recently, it was shown that leveraging additional graph-level information, e.g., information that is shared among all nodes, encourages the representations to be mindful of the global properties of the graph, which greatly improves their quality. However, in most graphs, there is significantly more structure that can be captured, e.g., nodes tend to belong to (multiple) clusters that represent structurally similar nodes. Motivated by this observation, we propose a graph representation learning method called Graph InfoClust (GIC), that seeks to additionally capture cluster-level information content. These clusters are computed by a differentiable K-means method and are jointly optimized by maximizing the mutual information between nodes of the same clusters. This optimization leads the node representations to capture richer information and nodal interactions, which improves their quality. Experiments show that GIC outperforms state-of-art methods in various downstream tasks (node classification, link prediction, and node clustering) with a 0.9% to 6.1% gain over the best competing approach, on average.

研究动机与目标

• 激发无监督的图表示学习，使其编码局部与全局图结构。
• 利用聚类级信息，捕捉超越全局图摘要的更加丰富的节点交互。
• 提出一个基于可微分 K-means 的聚类内容模块，与互信息最大化相结合。
• 证明 GIC 在标准基准上提升节点分类、链路预测和聚类性能。

提出的方法

• 使用 GNN 编码器获得节点嵌入，并通过对节点表示取平均来得到全局图摘要。
• 通过一个可微分的 K-means 层引入 K 个聚类级摘要，并将每个节点的聚类投影 z_i 计算为聚类质心的软均值。
• 使用判别器 D1 和 DK，在节点嵌入 h_i 与全局摘要 s 以及相应的聚类摘要 z_i 之间最大化互信息。
• 将 MI 目标与加权和 L = alpha L1 + (1 - alpha) L_K 相结合，以平衡图级信息与聚类级信息。
• 通过打乱节点特征来产生负样本以破坏输入，遵循 Deep Graph Infomax (DGI) 风格。
• 使用单层 GCN 编码器、聚类级互信息的余弦相似度，以及端到端可微分的聚类更新（ClusterNet 风格）以学习 mu_k 和 r_ik。
• 使用 Adam、Glorot 初始化和提前停止进行训练；将嵌入维度设为 F'（节点分类为 64），并在多个数据集上进行实验。

实验结果

研究问题

• RQ1 通过可微分 K-means 引入聚类级摘要，能否在无监督图表示中超越仅使用全局图摘要的性能？
• RQ2 GIC 学得的节点嵌入是否更好地捕捉聚类结构并为下游任务提供更高质量的表示？
• RQ3 图级互信息与聚类级互信息之间的权衡（由 alpha 控制）如何影响性能和嵌入几何？
• RQ4 与 DGI 及其他基线相比，GIC 在不同数据集和嵌入维度下是否具备鲁棒性？

主要发现

• GIC 在多数据集上的节点分类任务中持续优于 DGI，平均增益根据数据集和设置而定，超过 0.4% 到 2%。
• GIC 在链路预测和聚类方面也有显著提升，链路预测平均增益最高达到 2.5%，聚类方面相比最佳竞争方法提升约 15.5 个百分比点。
• GIC 提供更高的轮廓系数以及在嵌入维度较小时更清晰的类别结构（F' 比基线小）。
• 在各数据集上，GIC 经常与半监督方法相媲美甚至超越，同时使用具有竞争力或更小的嵌入维度。
• 消融研究表明，平衡图 MI 和聚类 MI（alpha 约 0.5）以及合适的 beta 和 K 值可获得更好的聚类和整体性能。