[论文解读] Fishnets: Information-Optimal, Scalable Aggregation for Sets and Graphs

T. Lucas Makinen, Justin Alsing+1 more|arXiv (Cornell University)|Oct 5, 2023

Advanced Graph Neural Networks被引用 4

一句话总结

Fishnets 提出了一种基于信息论的集合与图的聚合方法，通过神经网络参数化得分和逆费雪信息量，学习最优且可扩展的摘要。该方法在 ogbn-protein 数据集上实现了最先进性能，参数更少、训练更快，通过显式建模不确定性和信息含量，其在鲁棒性和信息饱和度方面优于标准 GNN 和 deepsets。

ABSTRACT

Set-based learning is an essential component of modern deep learning and network science. Graph Neural Networks (GNNs) and their edge-free counterparts Deepsets have proven remarkably useful on ragged and topologically challenging datasets. The key to learning informative embeddings for set members is a specified aggregation function, usually a sum, max, or mean. We propose Fishnets, an aggregation strategy for learning information-optimal embeddings for sets of data for both Bayesian inference and graph aggregation. We demonstrate that i) Fishnets neural summaries can be scaled optimally to an arbitrary number of data objects, ii) Fishnets aggregations are robust to changes in data distribution, unlike standard deepsets, iii) Fishnets saturate Bayesian information content and extend to regimes where MCMC techniques fail and iv) Fishnets can be used as a drop-in aggregation scheme within GNNs. We show that by adopting a Fishnets aggregation scheme for message passing, GNNs can achieve state-of-the-art performance versus architecture size on ogbn-protein data over existing benchmarks with a fraction of learnable parameters and faster training time.

研究动机与目标

• 开发一种基于信息论的、最优且可扩展的集合与图聚合方法。
• 解决固定聚合器（如均值、最大值、求和）在深度学习和贝叶斯推断中的局限性。
• 在分布偏移和噪声数据下，实现鲁棒且信息饱和的摘要。
• 将该形式化方法集成到 GNN 中，作为即插即用的替代方案，以提升性能和效率。

提出的方法

• Fishnets 使用双分支神经网络参数化每个数据点的得分和费雪信息量，以建模对对数似然的局部贡献。
• 该方法通过加法方式聚合得分和逆费雪权重，利用费雪评分法形成伪最大似然估计。
• 它显式地将逆费雪权重学习为数据的函数，从而实现不确定性感知的聚合。
• 该形式化方法被应用于贝叶斯基于模拟的推断（SBI）和图神经网络（GNN）中。
• 在 GNN 中，Fishnets 替代了标准的聚合层，使用边的不确定性（例如，伯努利试验中的 N）作为输入，实现自适应加权。
• 该方法在 PyTorch Geometric、JAX 和 TensorFlow 中均得到验证，展示了跨框架的兼容性。

Figure 1: Fishnets saturate information for datasets 20 times larger than the training set. Residual maximum likelihood estimates for slope ( left ) and intercept ( right ) scatter about the truth for linear regression test datasets of size $n_{\rm data}=10^{4}$ . The solid pink line is obtained fro

实验结果

研究问题

• RQ1 能否设计一种聚合方案，使复杂且不规则的数据集中的贝叶斯信息含量达到饱和？
• RQ2 与标准 deepsets 和 GNN 相比，Fishnets 在分布偏移下的表现如何？
• RQ3 Fishnets 是否能在显著更少的可学习参数下实现最先进 GNN 性能？
• RQ4 显式建模逆费雪权重是否能提升对噪声或不确定数据的鲁棒性？
• RQ5 Fishnets 是否可作为标准 GNN 聚合层的即插即用替代品，而无需修改网络架构？

主要发现

• 在 ogbn-protein 数据集上，Fishnets 仅使用 442,500 个参数，测试 ROC-AUC 达到 0.8110 ± 0.0021，优于更大的 GCN-28 模型。
• 在蛋白质数据集的噪声边变体上，Fishnets 达到 71.98% 的 ROC-AUC，较 GCN-28 的 64.71% 提升 10.5%。
• Fishnets 实现了贝叶斯信息含量的饱和，并表现出对分布偏移的鲁棒性，而标准 deepsets 则不具备此特性。
• 该方法在非平凡的推断问题中实现了信息饱和，甚至在 MCMC 技术失效的场景下依然有效。
• Fishnets 在保持或超越基准性能的同时，实现了比领先 GNN 更快的训练速度和更低的参数量。
• 该方法显式地引入了信息层面的归纳偏置，在不确定性和边噪声条件下提升了泛化能力。

Figure 2: Fishnets achieve the exact form of the score as a function of input data in the linear regression case, indicating information saturation. Slices of true (dark) and network predicted (pink) score vector components as a function of data inputs for the $n_{\rm data}=10^{4}$ test set.