[论文解读] Graph Neural Networks with Haar Transform-Based Convolution and Pooling: A Complete Guide.

Xuebin Zheng, Bingxin Zhou+3 more|arXiv (Cornell University)|Jul 22, 2020

Advanced Graph Neural Networks参考文献 73被引用 6

一句话总结

HaarNet 是一种新颖的图神经网络，通过将哈尔小波变换集成到图卷积和池化操作中，以学习多尺度、无冗余的图表示。通过利用快速哈尔变换，它在图分类和回归任务中实现了卓越的性能，尤其在大规模数据集上表现出更高的准确率和稳定性。

ABSTRACT

Graph Neural Networks (GNNs) have recently caught great attention and achieved significant progress in graph-level applications. In order to handle graphs with different features and sizes, we propose a novel graph neural network, which we call HaarNet, to predict graph labels with interrelated convolution and pooling strategies. Similar to some existing routines, the model assembles unified graph-level representations from samples by first adopting graph convolutional layers to extract mutual information followed by graph pooling layers to downsample graph resolution. By a sequence of clusterings, we embed the intrinsic topological information of each graph into the GNN. Through the fast Haar transformation, we made our contribution to forming a smooth workflow that learns multi-scale graph representation with redundancy removed. As a result, our proposed framework obtains notable accuracy gains without sacrificing performance stability. Extensive experiments validate the superiority on graph classification and regression tasks, where our proposed HaarNet outperforms various existing GNN models, especially on big data sets.

研究动机与目标

• 解决从不同大小和特征的图中学习有效、多尺度图表示的挑战。
• 在特征学习过程中减少图表示中的冗余，同时保留固有的拓扑结构。
• 提升图级别预测任务中的性能稳定性与准确率，尤其是在大规模数据集上。
• 将基于哈尔变换的卷积与池化操作整合到统一、平滑的图神经网络工作流中。

提出的方法

• 提出一种新型图神经网络架构 HaarNet，将图卷积层与基于哈尔变换的池化操作结合，实现分层特征提取。
• 利用快速哈尔小波变换，高效下采样图的分辨率，同时保留关键的拓扑信息。
• 通过一系列聚类操作，将图的内在拓扑结构嵌入表示学习过程。
• 提出一种统一的工作流，使卷积与池化相互关联，并通过哈尔变换优化，以消除冗余特征。
• 通过在分层图划分上连续应用哈尔变换，实现多尺度表示学习。
• 设计一种平滑的端到端训练流程，确保在不同图大小和特征分布下均保持性能稳定。

实验结果

研究问题

• RQ1 基于哈尔变换的卷积与池化是否能提升图神经网络在图级别任务中的表征能力？
• RQ2 哈尔变换的集成如何影响图表示中的冗余减少与拓扑信息保留？
• RQ3 与现有图神经网络模型相比，所提出的 HaarNet 框架在大规模图数据集上是否实现了更好的性能与稳定性？
• RQ4 通过哈尔变换实现的多尺度学习在多大程度上提升了图分类与回归任务中的泛化能力？

主要发现

• 与现有图神经网络模型相比，HaarNet 在图分类和回归任务中实现了显著的准确率提升。
• 该模型在大规模数据集上表现尤为出色，显著优于基线图神经网络模型。
• 哈尔变换的集成实现了高效的多尺度表示学习，同时减少了冗余。
• 所提出的框架在不同图大小和特征分布下均保持了高性能的稳定性。
• 结合基于哈尔变换的卷积与池化的平滑工作流，显著提升了预测准确率。