[論文レビュー] Attention Models in Graphs: A Survey

John Boaz Lee, Ryan A. Rossi+3 more|arXiv (Cornell University)|Jul 20, 2018

Advanced Graph Neural Networks被引用数 58

ひとこと要約

グラフアテンションモデルの包括的な調査で、問題設定、アテンションタイプ、タスクの3つの分類法を導入し、課題と今後の方向性を概説する。

ABSTRACT

Graph-structured data arise naturally in many different application domains. By representing data as graphs, we can capture entities (i.e., nodes) as well as their relationships (i.e., edges) with each other. Many useful insights can be derived from graph-structured data as demonstrated by an ever-growing body of work focused on graph mining. However, in the real-world, graphs can be both large - with many complex patterns - and noisy which can pose a problem for effective graph mining. An effective way to deal with this issue is to incorporate "attention" into graph mining solutions. An attention mechanism allows a method to focus on task-relevant parts of the graph, helping it to make better decisions. In this work, we conduct a comprehensive and focused survey of the literature on the emerging field of graph attention models. We introduce three intuitive taxonomies to group existing work. These are based on problem setting (type of input and output), the type of attention mechanism used, and the task (e.g., graph classification, link prediction, etc.). We motivate our taxonomies through detailed examples and use each to survey competing approaches from a unique standpoint. Finally, we highlight several challenges in the area and discuss promising directions for future work.

研究の動機と目的

• グラフアテンション文学の包括的な概要を提供し、グラフにおけるアテンションの必要性を動機付ける。
• グラフアテンションモデルを分類するための直観的な三つの分類法を導入する。
• 問題設定、アテンション機構、タスクの観点から既存の手法を調査する。
• 課題を強調し、将来の研究の有望な方向性を提案する。

提案手法

• 同質・異質・属性付き・DAGといった正式なグラフタイプと一般的なグラフアテンションフレームワークを定義する。
• 問題設定、アテンションタイプ、適用タスクの三つの分類法を導入する。
• 埋め込みタイプ（ノード、エッジ、グラフ、ハイブリッド）およびグラフクラスごとに手法を調査し、アテンションがどのように計算されるかを注記する（類似度ベース、アテンション誘導ウォークなど）。
• アプローチを比較し、グラフにおけるアテンション概念を動機づけるための例と図を用いて説明する。
• グラフアテンションの課題と今後の研究方向を議論する。

実験結果

リサーチクエスチョン

• RQ1 さまざまな問題設定において、アテンションはグラフに対して主にどのように適用されているか？
• RQ2 同質グラフと異質グラフ、ノード/エッジ/グラフ埋め込みなどのタスクで、異なるアテンション機構はどう比較されるか？
• RQ3 グラフアテンションモデルにおける主要な課題と未解決の方向性は？
• RQ4 分類法主導の分析は、グラフアテンション手法の全体像をいかに明確化できるか？

主な発見

• アテンションは、タスク関連の隣接ノードや部分構造に焦点を当てることで信号対雑音比を改善するのに役立つ。
• アテンションベースのグラフ手法は、グラフの影響力のある部分を強調することにより解釈性を可能にする。
• 三つの分類法は、問題設定、アテンション機構、タスクの観点から幅広いグラフアテンションモデルを効果的に整理できる。
• 代表的な手法（例：GAT、AGNN、EAGCN）を用いて、様々なアテンションの定式化と、それらが異なるグラフタイプへ適用可能であることを示している。
• グラフアテンションにはまだ未解決の課題があり、多様なグラフクラスとタスクで今後の研究機会がある。