[논문 리뷰] Deep Feature Learning for Graphs

Ryan A. Rossi, Rong Zhou외 1명|arXiv (Cornell University)|2017. 04. 28.

Advanced Graph Neural Networks참고 문헌 20인용 수 29

한 줄 요약

이 논문은 대규모 속성 부여된 그래프에서 깊이 있는 계층적이고 해석 가능한 노드 및 엣지 표현을 학습하기 위한 확장성 있고 공간 효율적인 프레임워크인 DeepGL을 소개한다. 학습된 상관계 함수를 통해 기본 특징(예: 그래프릿)을 반복적으로 조합함으로써 DeepGL은 최신 기술 대비 최대 182배 빠른 런타임과 6배 적은 메모리 사용량을 달성하면서도, 노드 분류 및 전이 학습과 같은 핵심 작업에서 정확도를 20% 이상 향상시킨다.

ABSTRACT

This paper presents a general graph representation learning framework called DeepGL for learning deep node and edge representations from large (attributed) graphs. In particular, DeepGL begins by deriving a set of base features (e.g., graphlet features) and automatically learns a multi-layered hierarchical graph representation where each successive layer leverages the output from the previous layer to learn features of a higher-order. Contrary to previous work, DeepGL learns relational functions (each representing a feature) that generalize across-networks and therefore useful for graph-based transfer learning tasks. Moreover, DeepGL naturally supports attributed graphs, learns interpretable features, and is space-efficient (by learning sparse feature vectors). In addition, DeepGL is expressive, flexible with many interchangeable components, efficient with a time complexity of $\mathcal{O}(|E|)$, and scalable for large networks via an efficient parallel implementation. Compared with the state-of-the-art method, DeepGL is (1) effective for across-network transfer learning tasks and attributed graph representation learning, (2) space-efficient requiring up to 6x less memory, (3) fast with up to 182x speedup in runtime performance, and (4) accurate with an average improvement of 20% or more on many learning tasks.

연구 동기 및 목표

• 기존 그래프 표현 학습 방법의 한계를 해결하기 위해, 밀도 높고 일반화 불가능하며 해석 불가능한 특징을 생성하는 문제를 해결한다.
• 다양한 그래프 간 일반화 가능한 상관계 함수를 학습함으로써 네트워크 간 전이 학습을 효과적으로 가능하게 한다.
• 속성 부여된 그래프를 지원하고 대규모 네트워크에서 공간 효율적이고 희소한 특징 벡터를 학습한다.
• 선형 시간 복잡도와 병렬 구현을 통해 높은 효율성과 확장성을 달성한다.
• 고차원 부분그래프 구조를 포괄하는 해석 가능하고 계층적인 표현을 제공한다.

제안 방법

• DeepGL은 그래프 구조, 속성 또는 둘 다에서 유도된 기본 특징(예: 그래프릿 특징)으로 시작한다.
• 하나의 다층 계층적이고 계층적인 방식으로, 학습된 상관계 특징 연산자를 사용해 저차원 특징에서 고차원 특징을 조합한다.
• 각 층은 이전 층을 기반으로 하되, 조합된 상관계 함수를 통해 기존 특징에 새로운 비중복 정보를 추가하는 경우에만 특징을 유지한다.
• 메모리 사용량을 줄이기 위해 로그-빈닝과 희소 벡터 인코딩을 사용하며, 특징 값당 단지 1~2바이트의 메모리만 필요로 한다.
• O(|E|) 복잡도를 가진 병렬 선형 시간 알고리즘을 적용하여 수백만 개의 노드를 포함한 그래프에 대한 확장성을 확보한다.
• 노드 및 엣지 표현 학습을 모두 지원하며, 다양한 그래프 유형과 작업에 대응할 수 있도록 교환 가능한 구성 요소를 제공한다.

실험 결과

연구 질문

• RQ1 깊이 있는 그래프 표현 학습 프레임워크는 다양한 네트워크 간 상관계 함수를 일반화하여 효과적인 전이 학습을 가능하게 할 수 있는가?
• RQ2 어떻게 하면 고차원 구조 패턴을 포착하면서도 공간 효율적이고 해석 가능한 그래프 표현을 만들 수 있는가?
• RQ3 밀도 높은 실수값 임베딩 대비 희소하고 계층적인 특징을 학습할 경우, 런타임과 메모리 효율성에서 어떤 성능 향상이 이루어지는가?
• RQ4 이러한 프레임워크는 수백만 개의 노드를 포함한 대규모 속성 부여된 그래프에 얼마나 잘 스케일링되는가?
• RQ5 특징의 계층적 조합 방식은 하류 기계 학습 작업에서 정확도를 어떻게 향상시키는가?

주요 결과

• DeepGL은 node2vec과 같은 최신 기술 대비 최대 6배 적은 메모리 사용량을 기록하며, 노드 특징의 밀도는 0.162~0.334, 엣지 특징의 밀도는 0.164~0.318를 기록한다.
• 1000만 노드를 가진 Erdös-Rényi 그래프에서 DeepGL은 런타임에서 최대 182배의 성능 향상을 달성하여 node2vec이 1.8일이 걸리는 데 비해 15분 만에 완료한다.
• DeepGL의 노드 표현은 밀도 높은 임베딩보다 훨씬 희소하며, 1000만 개의 노드에서 128차원 특징을 위해 단지 0.768GB의 메모리만 사용하는 반면, node2vec은 10.2GB를 필요로 한다.
• DeepGL은 노드 분류 및 링크 예측을 포함한 여러 작업에서 평균 20% 이상의 정확도 향상을 달성한다.
• DeepGL은 강력한 병렬 스케일링 성능을 보이며, 코어 수가 증가함에 따라 성능이 선형적으로 증가한다. 특히 엣지 표현 학습에서 두드러진다.
• 학습된 특징은 해석 가능하며, 각 특징이 다양한 그래프 간에서 추적 가능하고 설명 가능한 상관계 함수의 조합로 구성되어 있음을 확인할 수 있다.