[논문 리뷰] A Survey on Graph Structure Learning: Progress and Opportunities

Yanqiao Zhu, Weizhi Xu외 6명|arXiv (Cornell University)|2021. 03. 04.

Advanced Graph Neural Networks인용 수 67

한 줄 요약

본 조사는 Graph Structure Learning (GSL)에 대해 개관하고, 방법들을 분류하며, 일반적인 파이프라인을 개요하고, 응용 분야와 향후 과제에 대해 논의한다.

ABSTRACT

Graphs are widely used to describe real-world objects and their interactions. Graph Neural Networks (GNNs) as a de facto model for analyzing graphstructured data, are highly sensitive to the quality of the given graph structures. Therefore, noisy or incomplete graphs often lead to unsatisfactory representations and prevent us from fully understanding the mechanism underlying the system. In pursuit of an optimal graph structure for downstream tasks, recent studies have sparked an effort around the central theme of Graph Structure Learning (GSL), which aims to jointly learn an optimized graph structure and corresponding graph representations. In the presented survey, we broadly review recent progress in GSL methods. Specifically, we first formulate a general pipeline of GSL and review state-of-the-art methods classified by the way of modeling graph structures, followed by applications of GSL across domains. Finally, we point out some issues in current studies and discuss future directions.

연구 동기 및 목표

• 그래프 구조 학습(GSL) 문제를 공식화하고, 시끄럽거나 불완전한 그래프에서 GNN 성능을 개선하는 데의 의의를 설명한다.
• GSL의 일반적인 3단계 파이프라인: 그래프 구성, 구조 모델링, 메시지 전파를 제시한다.
• 대표적인 기법과 함께 메트릭 기반, 신경 기반, 직접적 접근으로 GSL 방법을 분류한다.
• 공통 그래프 정규화 항 및 후처리 단계를 다루고, 다양한 도메인에 걸친 응용을 조사한다.
• GSL 연구의 현재 과제와 향후 연구 방향을 개략하고 GSL의 추가 개발을 안내한다.

제안 방법

• GSL 목표를 협력적으로 최적화된 인접 행렬과 노드 표현을 학습하는 것으로 정의한다.
• 그래프 구성, 그래프 구조 모델링, 메시지 전파의 3단계 GSL 파이프라인을 제안한다.
• 구조 모델링을 메트릭 기반, 신경 기반, 직접적 접근으로 분류하고 예시와 함께 제시한다.
• 그래프 정규화 항(희소성, 스무딩, 커뮤니티 보존) 및 후처리(이산 샘플링, 잔차 연결)을 설명한다.
• 번갈아 가며 최적화와 바이레벨/메타-학습 형식과 같은 학습 프레임워크와 전략을 논의한다.
• Cross-domain 응용을 요약하고 향후 연구 방향을 제시한다.

실험 결과

연구 질문

• RQ1 그래프 구조 학습이 무엇이며, GNN에 왜 필요한가?
• RQ2 다운스트림 작업을 개선하기 위해 그래프 구조를 어떻게 구성하고 다듬을 수 있는가?
• RQ3 GSL의 주요 카테고리와 대표적인 방법은 무엇이며, 그것들은 어떻게 다른가?
• RQ4 GSL에서 사용되는 일반적인 규제와 후처리 기법은 무엇인가?
• RQ5 GSL 연구의 현재 과제와 향후 방향은 무엇인가?

주요 결과

• GSL은 다운스트림 성능을 향상시키기 위해 그래프 구조와 이를 표현을 공동으로 학습하는 프레임으로 보는 것이 일반적이다.
• 대부분의 GSL 방법은 구성, 모델링, 전파라는 3단계 파이프라인을 중심으로 한다.
• 방법은 메트릭 기반, 신경 기반, 직접적 접근으로 분류되며 각기 고유한 장점과 메커니즘을 가진다.
• 희소성, 스무딩, 커뮤니티 보존과 같은 그래프 정규화 항과 이산 샘플링 및 잔차 연결과 같은 후처리가 학습된 구조를 가이드한다.
• GSL은 NLP, 컴퓨터 비전, 의학 영상, 과학적 발견 등 광범위한 응용 분야를 가지며, 여전히 해결해야 할 과제와 유망한 방향이 있다.