[论文解读] Attention Models in Graphs: A Survey

John Boaz Lee, Ryan A. Rossi+3 more|arXiv (Cornell University)|Jul 20, 2018

Advanced Graph Neural Networks被引用 58

一句话总结

对图注意力模型的全面综述，提出将方法按问题设定、注意力类型和任务进行组织的三种分类法，并勾勒挑战与未来方向。

ABSTRACT

Graph-structured data arise naturally in many different application domains. By representing data as graphs, we can capture entities (i.e., nodes) as well as their relationships (i.e., edges) with each other. Many useful insights can be derived from graph-structured data as demonstrated by an ever-growing body of work focused on graph mining. However, in the real-world, graphs can be both large - with many complex patterns - and noisy which can pose a problem for effective graph mining. An effective way to deal with this issue is to incorporate "attention" into graph mining solutions. An attention mechanism allows a method to focus on task-relevant parts of the graph, helping it to make better decisions. In this work, we conduct a comprehensive and focused survey of the literature on the emerging field of graph attention models. We introduce three intuitive taxonomies to group existing work. These are based on problem setting (type of input and output), the type of attention mechanism used, and the task (e.g., graph classification, link prediction, etc.). We motivate our taxonomies through detailed examples and use each to survey competing approaches from a unique standpoint. Finally, we highlight several challenges in the area and discuss promising directions for future work.

研究动机与目标

• 提供对图注意力文献的全面综述并说明在图中引入注意力的必要性。
• 引入三种直观的分类法来对图注意力模型进行分类。
• 从问题设定、注意力机制和任务的角度对现有方法进行综述。
• 突出挑战并提出未来工作中的有前景的方向。

提出的方法

• 定义形式化的图类型（同构、异构、带属性、有向无环图DAG）以及一个通用的图注意力框架。
• 介绍三种用于组织方法的分类法：问题设定、注意力类型和应用任务。
• 按嵌入类型（节点、边、图、混合）和按图类别对方法进行综述，注意记录注意力的计算方式（基于相似度、注意力引导的游走等）。
• 比较各种方法，并用示例和图示来阐明图中注意力概念的动机。
• 讨论图注意力领域的挑战与未来研究方向。

实验结果

研究问题

• RQ1 在不同问题设定下，注意力主要以何种方式应用于图？
• RQ2 在同构图与异构图以及节点/边/图嵌入等任务中，不同的注意力机制有何比较？
• RQ3 图注意力模型的关键挑战与未解方向有哪些？
• RQ4 基于分类法的分析如何澄清图注意力方法的全景？

主要发现

• 注意力通过聚焦于与任务相关的邻居或子结构来提高信噪比。
• 基于注意力的图方法通过突出图中的关键部分来提升可解释性。
• 三种分类法有效地按问题设定、注意力机制和任务将广泛的图注意力模型组织起来。
• 若干代表性方法（如 GAT、AGNN、EAGCN）展示了多样的注意力公式及其在不同图类型上的适用性。
• 在图注意力领域仍存在未解决的挑战，未来在多样化的图类别与任务中存在机会。