[论文解读] Adaptive Filters and Aggregator Fusion for Efficient Graph Convolutions.

Shyam A. Tailor, Felix L. Opolka+2 more|arXiv (Cornell University)|Apr 3, 2021

Advanced Graph Neural Networks参考文献 46被引用 8

一句话总结

该论文提出了一种新颖的GNN架构，采用自适应滤波和聚合器融合技术，实现了与顶点数量成比例的内存使用而非边数，从而降低了内存消耗和推理延迟。该方法通过受信号处理启发的滤波机制，实现了每个顶点的可学习权重矩阵，并且仅比标准稀疏矩阵乘法增加19%的延迟，显著提升了模型表征能力。

ABSTRACT

Training and deploying graph neural networks (GNNs) remains difficult due to their high memory consumption and inference latency. In this work we present a new type of GNN architecture that achieves state-of-the-art performance with lower memory consumption and latency, along with characteristics suited to accelerator implementation. Our proposal uses memory proportional to the number of vertices in the graph, in contrast to competing methods which require memory proportional to the number of edges; we find our efficient approach actually achieves higher accuracy than competing approaches across 5 large and varied datasets against strong baselines. We achieve our results by using a novel adaptive filtering approach inspired by signal processing; it can be interpreted as enabling each vertex to have its own weight matrix, and is not related to attention. Following our focus on efficient hardware usage, we propose aggregator fusion, a technique to enable GNNs to significantly boost their representational power, with only a small increase in latency of 19% over standard sparse matrix multiplication. Code and pretrained models can be found at this URL: this https URL.

研究动机与目标

• 为实现可扩展部署，降低图神经网络（GNNs）的内存消耗和推理延迟。
• 设计一种随顶点数量而非边数扩展的GNN架构，以提升硬件效率。
• 在不显著增加计算成本的前提下增强模型表征能力。
• 通过内存和延迟优化，实现高效的加速器映射。
• 在使用更少内存和更低延迟的前提下，实现高于强基线模型的准确率。

提出的方法

• 该方法引入受信号处理启发的自适应滤波机制，使每个顶点能够独立学习其自身的权重矩阵。
• 自适应滤波机制避免依赖注意力机制，转而采用顶点特定的滤波方式，以提升模型表达能力。
• 提出聚合器融合技术，将多种聚合函数合并为单一计算操作，减少冗余运算。
• 该架构的内存使用与顶点数量成正比，而非与边数成正比，从而实现显著的内存节省。
• 融合技术在仅比标准稀疏矩阵乘法增加19%延迟的前提下，显著提升了模型表征能力。
• 该模型设计支持高效硬件映射，具备加速器友好的计算模式。

实验结果

研究问题

• RQ1 能否设计一种GNN架构，使内存使用随顶点数量而非边数扩展，从而提升效率？
• RQ2 自适应滤波机制能否在不增加延迟的前提下提升GNN性能？
• RQ3 聚合器融合能否在极低延迟开销下显著提升模型表征能力？
• RQ4 所提方法是否在降低内存和延迟的同时，实现高于强基线模型的准确率？
• RQ5 该架构能否被高效映射到硬件加速器上，以支持实际部署？

主要发现

• 所提出的GNN在五个大规模且多样化的数据集上均实现了最先进性能，准确率显著优于强基线模型。
• 内存使用与顶点数量呈线性关系，相比与边数成比例的方法，显著降低了内存消耗。
• 由于优化了内存访问和计算方式，推理延迟显著低于现有竞争方法。
• 聚合器融合在仅比标准稀疏矩阵乘法增加19%延迟的前提下，显著提升了模型容量。
• 尽管内存和延迟需求更低，该方法仍表现出高于现有方法的准确率。
• 由于内存效率高且计算模式规则，该架构非常适用于加速器部署。