[论文解读] Graph-Aware Transformer: Is Attention All Graphs Need?

Sanghyun Yoo, Young Seok Kim+5 more|arXiv (Cornell University)|Jun 9, 2020

Machine Learning in Materials Science参考文献 43被引用 6

一句话总结

GRAT 是首个用于图到图学习的端到端 Transformer 模型，通过显式引入边信息增强自注意力机制，并采用双路径自回归解码机制实现节点与边的生成。该模型在 QM9 基准的 4 项回归任务中达到最先进性能，展示了 Transformer 在通用图应用中的强大潜力。

ABSTRACT

Graphs are the natural data structure to represent relational and structural information in many domains. To cover the broad range of graph-data applications including graph classification as well as graph generation, it is desirable to have a general and flexible model consisting of an encoder and a decoder that can handle graph data. Although the representative encoder-decoder model, Transformer, shows superior performance in various tasks especially of natural language processing, it is not immediately available for graphs due to their non-sequential characteristics. To tackle this incompatibility, we propose GRaph-Aware Transformer (GRAT), the first Transformer-based model which can encode and decode whole graphs in end-to-end fashion. GRAT is featured with a self-attention mechanism adaptive to the edge information and an auto-regressive decoding mechanism based on the two-path approach consisting of sub-graph encoding path and node-and-edge generation path for each decoding step. We empirically evaluated GRAT on multiple setups including encoder-based tasks such as molecule property predictions on QM9 datasets and encoder-decoder-based tasks such as molecule graph generation in the organic molecule synthesis domain. GRAT has shown very promising results including state-of-the-art performance on 4 regression tasks in QM9 benchmark.

研究动机与目标

• 开发一种通用的、端到端的基于 Transformer 的模型，能够对多种图数据应用中的完整图进行编码与解码。
• 通过将自注意力机制改进为显式融入边信息，解决标准 Transformer 与非序列图数据之间的不兼容性问题。
• 通过一种新颖的双路径自回归解码机制，联合建模子图编码与节点-边生成，实现高效的图生成。
• 评估完整 Transformer 架构（包含编码器与解码器）在图属性预测与图生成任务中的有效性。
• 验证多头自注意力机制在适配图结构后，是否可作为通用图学习的可行且强大的基础架构。

提出的方法

• 通过修改注意力计算过程，在查询-键交互中显式引入边特征，使多头自注意力机制能够融合边信息。
• 以节点标记序列作为输入，节点顺序可按应用需求选择性设定，并允许通过学习的注意力权重动态调整邻近节点的权重。
• 实现双路径解码机制：一条路径编码当前子图，另一条路径以自回归方式生成下一个节点及其关联边。
• 引入可学习的节点嵌入初始化方式与可微分的生成策略，使反向传播能够贯穿整个图生成过程。
• 分别使用交叉熵损失与均方误差损失，对生成任务与回归任务进行端到端训练。
• 采用固定跳数的邻域采样策略，以控制训练与推理过程中的计算开销。

实验结果

研究问题

• RQ1 通过在自注意力中引入边信息，能否有效将标准 Transformer 架构适配于图结构化数据？
• RQ2 端到端的基于 Transformer 的模型是否能够同时实现图表示学习与结构化图生成？
• RQ3 所提出的边感知自注意力机制在捕捉图结构方面，相较于标准 GNN 与基于注意力的 GNN 变体表现如何？
• RQ4 双路径自回归解码机制是否能够生成具有准确节点与边属性的复杂图，包括在大规模场景下？
• RQ5 完整的编码器-解码器 Transformer 架构是否在图属性预测与分子结构生成任务中均优于现有图到图模型？

主要发现

• GRAT 在 QM9 基准的四项回归任务中达到最先进性能，展现出强大的图表示学习能力。
• 该模型在预测分子属性方面优于现有方法，表明边感知自注意力能有效捕捉分子图中的结构依赖关系。
• GRAT 将图到图翻译框架成功应用于有机分子合成任务，在产物预测任务中取得具有竞争力的结果。
• 双路径自回归解码机制实现了对新图的有效且可控的生成，确保了正确的节点与边结构。
• 消融实验证实，在图数据上显式引入边信息至自注意力机制，显著优于标准注意力机制。
• GRAT 的通用架构展现出强大的可迁移性，表明其在化学以外的多种图应用中（如知识图谱与物理系统）也具备可行性。