[论文解读] Empowering Graph Representation Learning with Test-Time Graph Transformation

Wei Jin, Tong Zhao+4 more|arXiv (Cornell University)|Oct 7, 2022

Advanced Graph Neural Networks被引用 10

一句话总结

本文提出 GTrans，一种以数据为中心的框架，通过在推理时联合优化节点特征与图结构，利用对比代理损失对图数据进行精炼，从而提升图神经网络（GNN）的泛化能力和鲁棒性。GTrans 在三种具有挑战性的场景——分布偏移、异常特征和对抗攻击中均达到最先进性能，相较于基线模型性能提升最高达 8.2%，且无需微调预训练模型即可实现。

ABSTRACT

As powerful tools for representation learning on graphs, graph neural networks (GNNs) have facilitated various applications from drug discovery to recommender systems. Nevertheless, the effectiveness of GNNs is immensely challenged by issues related to data quality, such as distribution shift, abnormal features and adversarial attacks. Recent efforts have been made on tackling these issues from a modeling perspective which requires additional cost of changing model architectures or re-training model parameters. In this work, we provide a data-centric view to tackle these issues and propose a graph transformation framework named GTrans which adapts and refines graph data at test time to achieve better performance. We provide theoretical analysis on the design of the framework and discuss why adapting graph data works better than adapting the model. Extensive experiments have demonstrated the effectiveness of GTrans on three distinct scenarios for eight benchmark datasets where suboptimal data is presented. Remarkably, GTrans performs the best in most cases with improvements up to 2.8%, 8.2% and 3.8% over the best baselines on three experimental settings. Code is released at https://github.com/ChandlerBang/GTrans.

研究动机与目标

• 为解决 GNN 在数据质量较差（如分布偏移、异常特征和对抗攻击）情况下的局限性。
• 开发一种在不修改预训练模型或无需重新训练的前提下，提升 GNN 泛化能力和鲁棒性的方法。
• 提供一种以数据为中心的替代方案，以应对大规模模型中以模型为中心的方法成本过高且不可行的问题。
• 设计一种推理时图变换框架，实现在推理过程中动态适应图数据。
• 为 GNN 中的数据适应优于模型适应提供理论依据。

提出的方法

• GTrans 将图变换建模为对节点特征和图结构的扰动注入，并通过梯度下降进行优化。
• 它联合优化特征和邻接矩阵的扰动，以最小化基于对比学习的无参代理损失。
• 代理损失旨在通过数据增强（如 DropEdge）最大化原始图与增强视图之间的特征一致性。
• 该框架采用梯度相关性分析来引导变换过程，确保性能提升。
• 它采用可微优化过程，可在保持预训练 GNN 固定的同时实现对测试图的端到端精炼。
• 该方法具有灵活性和可迁移性，兼容任意预训练 GNN 及部署环境。

实验结果

研究问题

• RQ1 推理时的图变换能否在数据质量较差（如分布偏移）的情况下提升 GNN 性能？
• RQ2 在鲁棒性和性能方面，推理时的数据适应与模型适应相比如何？
• RQ3 在无法访问模型参数的情况下，哪种代理损失函数最有效，可用于引导推理时的图精炼？
• RQ4 GTrans 的性能对扰动预算和数据增强选择的敏感度如何？
• RQ5 GTrans 能否通过揭示哪些图修改提升了模型预测，提供可解释性？

主要发现

• 在分布偏移、异常特征和对抗攻击设置下，GTrans 分别相较最佳基线模型实现最高 2.8%、8.2% 和 3.8% 的性能提升。
• 所提出的对比代理损失优于重建损失、熵损失和 SLAPS 损失，后三者常导致性能下降或表现不佳。
• 在对抗攻击下，GTrans 表现极为出色，当扰动预算 B 从 0.5% 增加到 30% 时，性能从 56.66% 提升至 63.47%。
• 在分布偏移和异常特征设置下，GTrans 对预算 B 的敏感度极低，表明其在这些情况下对扰动尺度具有鲁棒性。
• 不同增强方式（DropEdge、节点丢弃和子图采样）均取得相近性能，证明该框架对增强方式选择具有灵活性和鲁棒性。
• 可视化结果表明，GTrans 能识别并纠正有害的图模式，从而揭示哪些修改提升了模型预测，具备可解释性。