[论文解读] LookHops: light multi-order convolution and pooling for graph classification

Zhangyang Gao, Haitao Lin+1 more|arXiv (Cornell University)|Dec 28, 2020

Advanced Graph Neural Networks参考文献 22被引用 4

一句话总结

本文提出 LookHops，一种用于图分类的轻量级多阶图卷积与池化框架，通过邻域信息增益选择最优 $k$-跳邻域。该方法结合高效的 $k$-阶卷积与新颖的 $k$-阶池化模块，联合学习节点重要性与边结构，在减少参数量和计算成本的同时实现最先进性能。

ABSTRACT

Convolution and pooling are the key operations to learn hierarchical representation for graph classification, where more expressive $k$-order($k>1$) method requires more computation cost, limiting the further applications. In this paper, we investigate the strategy of selecting $k$ via neighborhood information gain and propose light $k$-order convolution and pooling requiring fewer parameters while improving the performance. Comprehensive and fair experiments through six graph classification benchmarks show: 1) the performance improvement is consistent to the $k$-order information gain. 2) the proposed convolution requires fewer parameters while providing competitive results. 3) the proposed pooling outperforms SOTA algorithms in terms of efficiency and performance.

研究动机与目标

• 解决图分类中高阶图卷积（$k>1$）带来的高计算成本问题。
• 基于信息增益提出选择最优 $k$-跳邻域的准则，以平衡表达能力与效率。
• 设计一种参数高效的 $k$-阶卷积模块，在降低模型复杂度的同时保持竞争力性能。
• 提出一种新颖的 $k$-阶池化机制，联合学习节点重要性与边结构，相较于最先进方法在准确率与效率上均有提升。

提出的方法

• 引入 $k$-跳邻域信息增益（kInfo）准则，指导 $k$-阶卷积中 $k$ 的选择，确保有效感受野扩展。
• 实现轻量级 $k$-阶卷积，通过 $k$-跳邻居上的可学习注意力机制，减少参数量，同时保留多跳消息传递能力。
• 提出 $k$-阶池化模块，结合归一化特征投影（NF）、节点级池化（pN）与边级结构学习（pE），以提升表征学习效果。
• 采用 LiCheb 作为基础卷积模块，通过可学习权重实现 $k$-跳消息传递，高效近似高阶图信号。
• 引入归一化特征以提升池化阶段的节点得分估计，用几何上有意义的投影替代简单的 L2 范数。
• 基于端点特征差异实施边丢弃，保留具有结构信息的边，通过结构感知压缩提升性能。

实验结果

研究问题

• RQ1 如何有效选择图卷积中最优 $k$-跳邻域，以在表达能力与计算成本之间取得平衡？
• RQ2 轻量级 $k$-阶卷积模块能否在显著减少参数量的前提下实现与现有方法相当的性能？
• RQ3 一种能联合学习节点重要性与边结构的 $k$-阶池化机制，是否在准确率与效率上均优于现有最先进池化方法？
• RQ4 引入归一化特征与边级结构学习在多大程度上提升了图池化层的性能？
• RQ5 在大型图中结构退化风险较高的情况下，图池化在何种条件下仍能提供性能增益？

主要发现

• 所提出的 $k$-阶卷积在性能增益上与 $k$-跳邻域信息增益呈一致相关性，验证了所提选择准则的有效性。
• 轻量级 $k$-阶卷积模块在减少参数量的同时，在全部六个基准数据集上达到或超过最先进模型的性能表现。
• 所提出的池化方法在准确率与推理速度上均优于 TopkPool、SAGPool、ASAP 与 EdgePool，在 D&D、NCI1、NCI109 与 Mutagenicity 上取得最先进结果。
• 消融实验表明，归一化特征（NF）在大多数数据集上通过提供更优的节点重要性评分提升了性能，仅在 D&D 与 Mutagenicity 上例外。
• 边级结构学习（pE）进一步提升性能，通过保留高差异边，表明原始图边存在冗余性。
• 完整 LookHops 模型（NF + pN + pE）在 NCI1 上达到 78.2% 准确率，Mutagenicity 上达 80.3%，Far 上达 65.0%，仅使用 116.7k 参数与 196.3 秒训练时间（50 个周期），显著快于最先进方法。