[论文解读] Maximum Entropy Weighted Independent Set Pooling for Graph Neural Networks

Amirhossein Nouranizadeh, Mohammadjavad Matinkia+2 more|ArXiv.org|Jul 3, 2021

Advanced Graph Neural Networks被引用 15

一句话总结

该论文提出 MEWISPool，一种新颖的图神经网络池化层，通过将图池化建模为寻找最大熵加权独立集（MEWIS）问题，利用香农容量和 Infomax 原理，以最大化信息传输。该方法采用可微分、结构自适应的方法，避免了固定的池化比率，在图分类和最大独立集基准任务上实现了最先进性能。

ABSTRACT

In this paper, we propose a novel pooling layer for graph neural networks based on maximizing the mutual information between the pooled graph and the input graph. Since the maximum mutual information is difficult to compute, we employ the Shannon capacity of a graph as an inductive bias to our pooling method. More precisely, we show that the input graph to the pooling layer can be viewed as a representation of a noisy communication channel. For such a channel, sending the symbols belonging to an independent set of the graph yields a reliable and error-free transmission of information. We show that reaching the maximum mutual information is equivalent to finding a maximum weight independent set of the graph where the weights convey entropy contents. Through this communication theoretic standpoint, we provide a distinct perspective for posing the problem of graph pooling as maximizing the information transmission rate across a noisy communication channel, implemented by a graph neural network. We evaluate our method, referred to as Maximum Entropy Weighted Independent Set Pooling (MEWISPool), on graph classification tasks and the combinatorial optimization problem of the maximum independent set. Empirical results demonstrate that our method achieves the state-of-the-art and competitive results on graph classification tasks and the maximum independent set problem in several benchmark datasets.

研究动机与目标

• 开发一种结构自适应的图神经网络池化机制，以保留分层且具有信息量的表示。
• 解决图结构不规则性带来的池化挑战，该挑战阻碍了有效全局特征聚合。
• 通过通信理论概念，将图池化建模为最大化输入图与池化后图之间互信息的问题。
• 提供一种可微分、端到端可训练的池化层，避免预设的池化比率。

提出的方法

• 该方法将输入图建模为表示噪声通信信道的混淆图，其中节点为符号，边表示潜在混淆。
• 利用图的香农容量作为归纳偏置，将最大互信息等价于寻找具有基于熵的节点权重的最大权值独立集（MWIS）。
• 节点权重基于局部信号变化通过特征差异的 L2 范数推导，编码熵含量。
• 神经估计器为每个节点分配可微分的概率以决定其是否包含在独立集中，从而支持反向传播。
• 应用基于条件期望的去随机化算法，从学习到的概率分布中提取次优但确定性的解。
• 该方法端到端可训练，无需预设池化比率，从而实现对图结构的自适应。

实验结果

研究问题

• RQ1 能否通过信息论与通信信道的视角重新诠释图池化，以提升表征学习？
• RQ2 如何以可微分且可扩展的方式近似输入图与池化后图之间的最大互信息？
• RQ3 基于熵的权重的最大权值独立集问题能否作为最优信息保持池化的有效代理？
• RQ4 在图分类与组合优化任务中，该方法相较于现有池化技术在性能与自适应性方面表现如何？
• RQ5 该方法在真实世界图数据集上的计算复杂度与可扩展性如何？

主要发现

• MEWISPool 在 Cora、Citeseer 和 PubMed 图分类基准上实现了最先进性能，优于 GCN-GTS 与 S2V-DQN。
• 在最大独立集问题上，MEWISPool 在 Cora 上找到大小为 1433 的解（GCN-GTS 为 1451），Citeseer 上为 1852（GCN-GTS 为 1867），PubMed 上为 15,862（GCN-GTS 为 15,912），表现出具有竞争力的性能。
• 该方法在稀疏图上计算复杂度约为 O(|V|³)，与单个 GCN 层相当，性能表现优异。
• 该模型具备自适应性，无需预设池化比率，能够基于结构与信息论标准动态选择节点。
• 训练损失与学习到的 MIS 大小在 Cora 数据集的学习曲线上稳定收敛，表明优化过程有效。
• 基于熵的权重与去随机化策略确保了解的确定性与高质量，同时保持可微性以支持端到端训练。