[논문 리뷰] Attention Models in Graphs: A Survey

John Boaz Lee, Ryan A. Rossi외 3명|arXiv (Cornell University)|2018. 07. 20.

Advanced Graph Neural Networks인용 수 58

한 줄 요약

그래프 어텐션 모델에 대한 포괄적 고찰로, 문제 설정, 어텐션 유형, 작업으로 메서드를 분류하는 세 가지 분류 체계를 도입하고 도전과제 및 향후 방향을 제시한다.

ABSTRACT

Graph-structured data arise naturally in many different application domains. By representing data as graphs, we can capture entities (i.e., nodes) as well as their relationships (i.e., edges) with each other. Many useful insights can be derived from graph-structured data as demonstrated by an ever-growing body of work focused on graph mining. However, in the real-world, graphs can be both large - with many complex patterns - and noisy which can pose a problem for effective graph mining. An effective way to deal with this issue is to incorporate "attention" into graph mining solutions. An attention mechanism allows a method to focus on task-relevant parts of the graph, helping it to make better decisions. In this work, we conduct a comprehensive and focused survey of the literature on the emerging field of graph attention models. We introduce three intuitive taxonomies to group existing work. These are based on problem setting (type of input and output), the type of attention mechanism used, and the task (e.g., graph classification, link prediction, etc.). We motivate our taxonomies through detailed examples and use each to survey competing approaches from a unique standpoint. Finally, we highlight several challenges in the area and discuss promising directions for future work.

연구 동기 및 목표

• 그래프 어텐션 문헌에 대한 포괄적인 개요를 제공하고 그래프에서 어텐션의 필요성을 동기 부여한다.
• 그래프 어텐션 모델을 분류하기 위한 세 가지 직관적인 분류 체계를 도입한다.
• 문제 설정, 어텐션 메커니즘, 그리고 작업의 관점에서 기존 방법을 조사한다.
• 도전과제를 강조하고 향후 연구를 위한 유망한 방향을 제안한다.

제안 방법

• 정형 그래프 유형(동질적, 이질적, 속성화된, DAG)과 일반적인 그래프 어텐션 프레임워크를 정의한다.
• 방법을 구성하기 위한 세 가지 분류 체계(문제 설정, 어텐션 유형, 그리고 적용 태스크)를 도입한다.
• 임베딩 유형(node, edge, graph, hybrid) 및 그래프 클래스별로 방법을 조사하고, 어텐션이 어떻게 계산되는지(유사도 기반, 어텐션 주도 워크 등)를 주목한다.
• 접근 방식을 비교하고 그래프에서 어텐션 개념을 동기를 부여하기 위한 예제와 도해를 제시한다.
• 그래프 어텐션의 도전과제와 향후 연구 방향에 대해 논의한다.

실험 결과

연구 질문

• RQ1 다양한 문제 설정에 걸쳐 어텐션이 그래프에 적용되는 주요 방식은 무엇인가?
• RQ2 동질 그래프와 이질 그래프에서 다양한 어텐션 메커니즘은 어떻게 비교되며 노드/엣지/그래프 임베딩과 같은 작업에서 어떻게 다른가?
• RQ3 그래프 어텐션 모델의 주요 도전과제와 개방 방향은 무엇인가?
• RQ4 분류 체계 기반 분석이 그래프 어텐션 방법의 영역을 어떻게 명확히 설명할 수 있는가?

주요 결과

• 어텐션은 작업과 관련된 이웃 또는 부분구조에 집중함으로써 신호 대 잡음을 개선하는 데 도움이 된다.
• 어텐션 기반 그래프 방법은 그래프의 영향력 있는 부분을 하이라이트하여 해석 가능성을 높인다.
• 세 가지 분류 체계가 문제 설정, 어텐션 메커니즘, 그리고 작업에 따라 광범위한 그래프 어텐션 모델을 효과적으로 정리한다.
• 대표적인 방법들(GAT, AGNN, EAGCN 등)은 다양한 어텐션 형식과 서로 다른 그래프 유형에의 적용 가능성을 보여준다.
• 그래프 어텐션에서 아직 해결되지 않은 도전과제가 남아 있으며, 다양한 그래프 클래스와 작업에서 향후 연구 기회가 있다.