[논문 리뷰] Representation Learning on Graphs: Methods and Applications

William L. Hamilton, Rex Ying외 1명|arXiv (Cornell University)|2017. 09. 17.

Advanced Graph Neural Networks인용 수 298

한 줄 요약

그래프 표현 학습에 대한 포괄적 고찰로, 노드 및 서브그래프 임베딩을 인코더–디코더 프레임워크 하에 통합하고 얕은 방법, 심층 방법, 이웃 집계 방법을 상세히 다룬다.

ABSTRACT

Machine learning on graphs is an important and ubiquitous task with applications ranging from drug design to friendship recommendation in social networks. The primary challenge in this domain is finding a way to represent, or encode, graph structure so that it can be easily exploited by machine learning models. Traditionally, machine learning approaches relied on user-defined heuristics to extract features encoding structural information about a graph (e.g., degree statistics or kernel functions). However, recent years have seen a surge in approaches that automatically learn to encode graph structure into low-dimensional embeddings, using techniques based on deep learning and nonlinear dimensionality reduction. Here we provide a conceptual review of key advancements in this area of representation learning on graphs, including matrix factorization-based methods, random-walk based algorithms, and graph neural networks. We review methods to embed individual nodes as well as approaches to embed entire (sub)graphs. In doing so, we develop a unified framework to describe these recent approaches, and we highlight a number of important applications and directions for future work.

연구 동기 및 목표

• 그래프 구조를 다운스트림 작업용으로 저차원 임베딩에 인코딩하는 핵심 문제를 설명한다.
• 다양한 그래프 임베딩 접근법을 공통의 인코더–디코더 프레임워크로 통일한다.
• 대규모 그래프에 대한 확장 가능한 방법을 검토하고 노드 및 서브그래프 표현과 그 응용을 논의한다.
• 그래프 표현 학습의 한계점, 응용 및 향후 방향을 강조한다.

제안 방법

• 노드 임베딩을 위한 통합 인코더–디코더 프레임워크를 소개한다.
• 임베딩으로부터 그래프 구조를 재구성하기 위한 일반적인 쌍대 디코더와 그래프 기반 유사성 목적 정의.
• 얕은 임베딩(행렬 분해 및 무작위 걷기)과 일반화된 인코더 아키텍처로 분류한다.
• 노드 속성과 지역 이웃을 활용하는 이웃 집계/컨볼루션 인코더를 논의한다.
• 대규모 그래프를 위한 최적화 전략 및 실무적 고려사항을 다룬다.

실험 결과

연구 질문

• RQ1 그래프 구조를 어떻게 저차원 임베딩으로 인코딩하여 그래프의 위상 및 노드 역할을 보존할 수 있는가?
• RQ2 주요 노드-임베딩 방법의 계보는 무엇이며, 인코더/디코더 선택 및 손실 함수에서 어떻게 차이가 나는가?
• RQ3 얕은 임베딩을 넘어서 동적이고 대규모이거나 속성 있는 그래프를 어떻게 다룰 수 있는가?
• RQ4 실무에서 1차 이웃 표현과 2차 이상 이웃 표현 간의 트레이드오프는 어떻게 되는가?
• RQ5 향후 그래프 표현 학습에서의 핵심 방향과 한계점은 무엇인가?

주요 결과

• 인코더–디코더 관점으로 노드 임베딩 방법을 인코더, 디코더, 유사도 측정, 손실로 그룹화하는 통합 프레임워크가 존재한다.
• 얕은 임베딩은 행렬 분해나 무작위 걷기에 의존하며 대규모 그래프에 확장 가능하지만 트랜덕티브한 한계가 있다.
• 무작위 걷기 기반 방법(DeepWalk, node2vec)은 편향된 걷기를 활용하여 커뮤니티 구조나 구조적 역할을 포착한다.
• 일반화된 인코더 아키텍처(이웃 집계/컨볼루션 인코더)와 심층 모델은 노드 속성과 그래프 로컬성의 반영으로 얕은 방법의 한계를 보완한다.
• 이웃 집계 방법은 미지의 노드 및 변화하는 그래프에 대한 임베딩을 가능하게 하는 귀납적 표현 학습을 가능하게 한다.
• 공통 프레임워크는 서로 다른 방법을 비교하는 데 도움을 주고 확장성 및 적용 가능성에 대한 실무적 고려사항을 강조한다.