[论文解读] Improving Subgraph Recognition with Variational Graph Information Bottleneck

Junchi Yu, Jie Cao+1 more|arXiv (Cornell University)|Dec 18, 2021

Advanced Graph Neural Networks被引用 5

一句话总结

该论文提出变分图信息瓶颈（VGIB），一种用于子图识别的新框架，通过将问题重新表述为图扰动和子图选择，提升了训练稳定性和性能。通过注入可学习的、输入相关的噪声并使用变分上界，VGIB实现了高效且稳定的优化，相较于现有方法发现了更具信息量、更压缩的子图，在图分类、GNN可解释性和可解释性任务中取得了更优结果。

ABSTRACT

Subgraph recognition aims at discovering a compressed substructure of a graph that is most informative to the graph property. It can be formulated by optimizing Graph Information Bottleneck (GIB) with a mutual information estimator. However, GIB suffers from training instability and degenerated results due to its intrinsic optimization process. To tackle these issues, we reformulate the subgraph recognition problem into two steps: graph perturbation and subgraph selection, leading to a novel Variational Graph Information Bottleneck (VGIB) framework. VGIB first employs the noise injection to modulate the information flow from the input graph to the perturbed graph. Then, the perturbed graph is encouraged to be informative to the graph property. VGIB further obtains the desired subgraph by filtering out the noise in the perturbed graph. With the customized noise prior for each input, the VGIB objective is endowed with a tractable variational upper bound, leading to a superior empirical performance as well as theoretical properties. Extensive experiments on graph interpretation, explainability of Graph Neural Networks, and graph classification show that VGIB finds better subgraphs than existing methods. Code is avaliable at https://github.com/Samyu0304/VGIB

研究动机与目标

• 解决图信息瓶颈（GIB）在子图识别中因互信息估计不可靠而导致的训练不稳定和性能不佳问题。
• 克服GIB优化过程中的局限性，其存在互信息估计不准确和收敛困难的问题。
• 开发一种更稳定高效的框架，用于识别压缩且具信息量的子图，同时保留与标签相关的信息。
• 实现子图识别在实际应用中的可部署性，如生物化学和社交网络分析。
• 通过更优的子图解释，提升图神经网络预测的忠实度和可解释性。

提出的方法

• 将子图识别重新表述为两个阶段：通过噪声注入进行图扰动，以及通过去除注入噪声实现子图选择。
• 引入一种可学习的、输入相关的噪声先验，为每个输入图使用定制的高斯分布，以支持可微分优化。
• 采用Gumbel-Softmax重参数化方法处理噪声注入的离散动作空间，支持基于梯度的优化。
• 对互信息目标构建一个可计算的变分上界，以稳定且可微分的代理替代难以处理的GIB优化。
• 将扰动后的图作为中间表示，既经过噪声压缩又保留了属性预测的信息，从而引导噪声注入仅影响非关键子结构。
• 通过过滤掉注入的噪声提取最终子图，仅保留输入图中具信息量且低噪声的成分。

实验结果

研究问题

• RQ1 对图信息瓶颈（GIB）目标的变分近似是否能提升子图识别中的训练稳定性和性能？
• RQ2 如何使噪声注入具备可微性并有效识别图中的非关键子结构？
• RQ3 使用定制的、输入相关的噪声先验是否相比均匀或随机噪声注入能带来更优的子图发现效果？
• RQ4 所提出的VGIB框架在多大程度上提升了图神经网络解释的忠实度？
• RQ5 所发现的子图是否能提升下游图分类模型的性能？

主要发现

• 与GIB相比，VGIB实现了显著更快且更稳定的训练，收敛时间缩短至少10倍以上。
• 在图分类基准数据集（MUTAG、PROTEINS、DD、IMDB-BINARY、REDDIT-BINARY、COLLAB）上，VGIB通过发现具信息量且压缩的子图，显著提升了基线GNN的性能。
• 在GNN可解释性任务中，VGIB在多个稀疏度水平下均取得最高的Fidelity+分数（最高达0.82）和最低的Fidelity−分数（低至0.18），表明其对模型预测具有更优的忠实度。
• VGIB在所有评估的数据集和任务中，包括图解释和可解释性，均优于现有方法。
• 与基于基线GIB的方法相比，该方法将优化时间减少了10倍以上，支持实际部署。
• 消融实验证实，输入相关的噪声先验和Gumbel-Softmax重参数化对最优性能均至关重要。