[논문 리뷰] A Comprehensive Survey on Deep Graph Representation Learning

Wei Ju, Zheng Fang외 14명|arXiv (Cornell University)|2023. 04. 11.

Advanced Graph Neural Networks참고 문헌 563인용 수 14

한 줄 요약

체계적인 분류학과 깊은 그래프 표현 학습에 대한 포괄적 검토로, GNN 아키텍처, 학습 패러다임, 응용 분야를 다룹니다.

ABSTRACT

Graph representation learning aims to effectively encode high-dimensional sparse graph-structured data into low-dimensional dense vectors, which is a fundamental task that has been widely studied in a range of fields, including machine learning and data mining. Classic graph embedding methods follow the basic idea that the embedding vectors of interconnected nodes in the graph can still maintain a relatively close distance, thereby preserving the structural information between the nodes in the graph. However, this is sub-optimal due to: (i) traditional methods have limited model capacity which limits the learning performance; (ii) existing techniques typically rely on unsupervised learning strategies and fail to couple with the latest learning paradigms; (iii) representation learning and downstream tasks are dependent on each other which should be jointly enhanced. With the remarkable success of deep learning, deep graph representation learning has shown great potential and advantages over shallow (traditional) methods, there exist a large number of deep graph representation learning techniques have been proposed in the past decade, especially graph neural networks. In this survey, we conduct a comprehensive survey on current deep graph representation learning algorithms by proposing a new taxonomy of existing state-of-the-art literature. Specifically, we systematically summarize the essential components of graph representation learning and categorize existing approaches by the ways of graph neural network architectures and the most recent advanced learning paradigms. Moreover, this survey also provides the practical and promising applications of deep graph representation learning. Last but not least, we state new perspectives and suggest challenging directions which deserve further investigations in the future.

연구 동기 및 목표

• GNN 아키텍처와 학습 패러다임으로 구성된 깊은 그래프 표현 학습 방법의 분류 체계를 제공한다.
• 각 범주 내 필수 구성요소와 대표 알고리즘을 요약한다.
• 실용적 응용 분야를 강조하고 도전과제, 한계 및 향후 방향을 논의한다.

제안 방법

• 그래프 합성곱, 그래프 커널 뉴럴 네트워크, 그래프 풀링, 그래프 트랜스포머 등 그래프 신경망 아키텍처로 그래프 표현 학습 접근법을 분류한다.
• 감독학습/반감독학습, 자기지도학습, 그래프 구조 학습 등 학습 패러다임을 고찰한다.
• 대표 알고리즘을 논의하고 각 범주에서 특성을 요약한다.
• 소셜 분석, 분자 특성 예측 및 생성, 추천 시스템, 트래픽 분석의 응용 사례를 제시한다.
• 향후 방향과 남아 있는 도전 과제에 대한 통찰을 제공한다.

실험 결과

연구 질문

• RQ1 깊은 그래프 표현 학습에 사용되는 주요 GNN 아키텍처와 그 핵심 연산은 무엇인가?
• RQ2 다양한 학습 패러다임(감독/반감독, 자기지도, 구조 학습)이 그래프 표현에 어떤 영향을 미치는가?
• RQ3 현재 깊은 그래프 표현으로 가장 큰 혜택을 받는 응용은 무엇이며 남은 도전과제는 무엇인가?
• RQ4 깊은 그래프 표현 학습을 발전시키기 위해 가장 유망한 미래 방향과 미해결 문제는 무엇인가?

주요 결과

• GNN 아키텍처와 학습 패러다임에 따라 깊은 그래프 표현 학습 방법의 새로운 분류 체계를 제공한다.
• 각 분지에서 필수 구성요소와 대표 알고리즘에 대한 포괄적 검토를 제시한다.
• 소셜 분석, 분자 특성 예측 및 생성, 추천 시스템, 트래픽 분석과 같은 유망한 응용을 논의한다.
• 향후 연구의 한계와 도전적 방향을 식별한다.