[논문 리뷰] Learning Representations of Graph Data -- A Survey

Mital Kinderkhedia|arXiv (Cornell University)|2019. 06. 07.

Advanced Graph Neural Networks참고 문헌 111인용 수 10

한 줄 요약

이 종합 검토는 그래프 구조 데이터의 표현 학습을 위한 방법에 대한 포괄적인 분류 체계를 제공하며, 핵심 방법을 다섯 가지 주요 접근 방식으로 분류한다: 커널, 컨volutional, 그래프 신경망, 그래프 임베딩, 그리고 확률적 방법. 핵심 기법을 검토하고 강점과 한계를 비교하며, 분자의 구조, 사회 네트워크, 시간적 그래프와 같은 복잡한 그래프를 표현하는 데 있어 열려 있는 과제를 규명한다.

ABSTRACT

Deep Neural Networks have shown tremendous success in the area of object recognition, image classification and natural language processing. However, designing optimal Neural Network architectures that can learn and output arbitrary graphs is an ongoing research problem. The objective of this survey is to summarize and discuss the latest advances in methods to Learn Representations of Graph Data. We start by identifying commonly used types of graph data and review basics of graph theory. This is followed by a discussion of the relationships between graph kernel methods and neural networks. Next we identify the major approaches used for learning representations of graph data namely: Kernel approaches, Convolutional approaches, Graph neural networks approaches, Graph embedding approaches and Probabilistic approaches. A variety of methods under each of the approaches are discussed and the survey is concluded with a brief discussion of the future of learning representation of graph data.

연구 동기 및 목표

• 그래프 구조 데이터의 표현 학습을 위한 주요 접근 방식에 대한 체계적인 분류 체계를 제공하기 위해.
• 다섯 가지 범주인 커널, 컨volutional, GNN, 임베딩, 그리고 확률적 접근 방식 간의 핵심 방법론을 식별하고 비교하기 위해.
• 가중치가 있는, 방향성이 있는, 시간적 그래프와 같은 복잡한 그래프 유형을 표현하는 데 있어 도전 과제를 부각시키기 위해.
• 그래프 데이터에서 하류 기계 학습 작업을 수행하기 위한 적절한 방법을 선택하는 데 연구자를 안내하기 위해.
• 그래프 표현 학습 분야의 열려 있는 문제들과 향후 연구 방향을 요약하기 위해.

제안 방법

• 그래프 표현 학습을 다섯 가지 주요 접근 방식으로 분류한다: 커널, 컨volutional, GNN, 임베딩, 그리고 확률적 방법.
• 기초적인 그래프 이론과 신경망이 복잡한 그래프 함수를 근사화하는 데서의 역할을 검토한다.
• 변분 추론과 오토에인코더 기반 모델(예: VAE 및 GVAE)을 분석하여 SMILES 및 파싱 트리를 사용해 유효한 분자 구조를 생성한다.
• 노드와 에지 추가와 같은 순차적 행동을 통해 그래프를 생성하는 데 신경망을 사용하는 그래프 생성 모델을 논의한다.
• 마르코프 무작위 필드와 루프가 있는 신뢰도 전파를 사용하는 확률 모델을 검토하여 사후 기반 표현을 유도한다.
• 생성 모델 학습을 위한 변분 하한의 사용을 소개하며, 목적 함수로 $\mathcal{L} = \mathbb{E}_q[\log p(A|Z)] - \mathcal{KL}[q(Z|X,A) \| p(Z)]$ 를 제시한다.

실험 결과

연구 질문

• RQ1 그래프 구조 데이터의 표현 학습을 위한 주요 방법론 패러다임은 무엇인가?
• RQ2 커널 기반, 컨volutional, GNN, 임베딩, 그리고 확률적 접근 방식은 설계 및 성능 측면에서 어떻게 다를까?
• RQ3 딥 러닝 기반 생성 모델을 사용해 유효하고 구조화된 그래프를 생성하는 데 있어 핵심 과제는 무엇인가?
• RQ4 확률 모델은 그래프 표현에서 상호관계 및 위상적 구조를 효과적으로 인코딩할 수 있는가?
• RQ5 가중치가 있는, 방향성이 있는, 시간적 그래프를 표현 학습 기법을 사용해 표현하는 데 있어 열려 있는 문제들은 무엇인가?

주요 결과

• 그래프 표현 학습은 정점, 부분그래프, 또는 전체 그래프를 위상적 및 기하학적 구조를 유지하는 저차원 벡터 공간으로 매핑할 수 있도록 한다.
• 커널 방법과 GNN은 관계 패tern을 효과적으로 포착하지만, 인덕티브 바이어스와 확장성 측면에서 다릅니다.
• VAE와 GVAE를 사용하는 그래프 오토에인코더는 분자 화합물의 유효한 SMILES 문자열을 생성할 수 있지만, 화학적 타당성을 확보하기 위해 문법 기반 디코딩과 같은 추가 제약 조건이 필요하다.
• 노드 추가, 에지 추가와 같은 순차적 행동을 통해 그래프를 생성하는 신경망 생성 모델은 융통성은 있지만 확장성과 노드 순서 문제에 직면해 있다.
• 마르코프 무작위 필드와 변분 추론을 기반으로 한 확률 모델은 그래프 구조 데이터로부터 의미 있는 사후 표현을 도출할 수 있다.
• 진전이 있었음에도 불구하고, 비유클리드 도메인, 방향성 그래프, 시간적 무늬를 학습하는 데 있어 여전히 과제가 남아 있으며, 이는 활발히 연구되고 있는 분야임을 시사한다.