[论文解读] MathNet: Haar-Like Wavelet Multiresolution-Analysis for Graph Representation and Learning

Xuebin Zheng, Bingxin Zhou+3 more|arXiv (Cornell University)|Jul 22, 2020

Advanced Graph Neural Networks参考文献 82被引用 8

一句话总结

MathNet 提出了一种基于哈尔小波多分辨率分析的图神经网络框架，以增强图表示学习。通过集成基于小波的卷积与分层池化，该方法在图分类和回归任务中实现了最先进性能，尤其在大规模数据集上，相较于现有 GNN 模型展现出更高的准确率与更强的稳定性。

ABSTRACT

Graph Neural Networks (GNNs) have recently caught great attention and achieved significant progress in graph-level applications. In this paper, we propose a framework for graph neural networks with multiresolution Haar-like wavelets, or MathNet, with interrelated convolution and pooling strategies. The underlying method takes graphs in different structures as input and assembles consistent graph representations for readout layers, which then accomplishes label prediction. To achieve this, the multiresolution graph representations are first constructed and fed into graph convolutional layers for processing. The hierarchical graph pooling layers are then involved to downsample graph resolution while simultaneously remove redundancy within graph signals. The whole workflow could be formed with a multi-level graph analysis, which not only helps embed the intrinsic topological information of each graph into the GNN, but also supports fast computation of forward and adjoint graph transforms. We show by extensive experiments that the proposed framework obtains notable accuracy gains on graph classification and regression tasks with performance stability. The proposed MathNet outperforms various existing GNN models, especially on big data sets.

研究动机与目标

• 开发一种图神经网络框架，以有效捕捉图中的局部与全局拓扑结构，从而提升表示学习效果。
• 通过构建统一的多分辨率图表示，解决图级别学习任务中图大小与结构不一致的挑战。
• 设计一种端到端的 GNN，基于正交哈尔小波，实现相互关联的卷积与池化操作，以实现高效计算。
• 通过多分辨率信号分解，在图分类与回归任务中实现卓越性能，尤其在大规模数据集上表现更优。
• 建立一种通用框架，用于图神经网络中快速前向与伴随小波变换，基于多分辨率分析。

提出的方法

• 该方法构建输入图的粗粒度链，以定义树状结构的正交哈尔小波系统，实现多分辨率分析（MRA）。
• 通过前向小波变换执行图卷积，随后在频域进行滤波（哈达玛积），再通过伴随变换返回顶点域。
• 通过压缩性小波变换实现分层图池化，实现节点数量下采样，同时保留拓扑与特征信息。
• 池化层以分层方式级联，实现图信号的逐步分辨率降低与冗余去除。
• 该框架支持前向与伴随小波变换的快速计算，支持 GNN 的高效训练与推理。
• 模型在各类任务中采用一致架构，包含一个 GCN 层、一个 SAGPool 层与一个三层 MLP 用于分类/回归。

实验结果

研究问题

• RQ1 基于小波的多分辨率分析框架是否能提升 GNN 中的图表示学习？
• RQ2 将哈尔小波与图卷积及池化相结合，如何提升图分类与回归任务的性能？
• RQ3 MathNet 在多大程度上优于现有 GNN 模型，尤其在大规模数据集上？
• RQ4 分层小波池化策略在实现高效计算的同时，如何保持拓扑信息？
• RQ5 使用简单的哈尔小波基对图学习中模型表达能力与泛化性能有何影响？

主要发现

• 在 QM7 图回归基准上，MathNet 的平均测试 MAE 达到 42.7 ± 0.92，优于次佳基线模型（GCNConv+SAGPool）的 43.6 ± 0.98。
• 在 10 次重复实验中，模型性能的标准差更低，表明其相比基线更具鲁棒性。
• MathNet 在图分类与回归任务中均取得显著准确率提升，尤其在大规模数据集上表现突出。
• 该框架支持前向与伴随小波变换的快速计算，为 GNN 的高效训练与推理提供支持。
• 在多分辨率分析框架中使用正交哈尔小波，成功保留了图的局部与全局结构信息。
• 实证结果证实，即使仅使用最简小波基（均匀的“父小波”），MathNet 在多样化图学习任务中仍具有效性与稳定性。