[논문 리뷰] Learning Graph-Level Representations with Recurrent Neural Networks

Yu Jin, Joseph F. JáJá|arXiv (Cornell University)|2018. 05. 20.

Advanced Graph Neural Networks참고 문헌 35인용 수 9

한 줄 요약

이 논문은 Gumbel-Softmax를 활용한 미분 가능한 랜덤 워크 기반의 노드 시퀀스 샘플링과 비지도 학습 기반의 노드 임베딩을 결합한 새로운 그래프 수준 표현 학습 프레임워크인 GraphLSTM을 제안한다. 이는 RNN이 장거리 의존성을 포착할 수 있도록 해주며, 역전파를 통한 노드 표현과 시퀀스 샘플링의 공동 최적화를 통해 벤치마크 그래프 데이터셋에서 최신 기준 수준 또는 그 이상의 분류 정확도와 더 빠른 수렴 속도를 달성한다.

ABSTRACT

Recently a variety of methods have been developed to encode graphs into low-dimensional vectors that can be easily exploited by machine learning algorithms. The majority of these methods start by embedding the graph nodes into a low-dimensional vector space, followed by using some scheme to aggregate the node embeddings. In this work, we develop a new approach to learn graph-level representations, which includes a combination of unsupervised and supervised learning components. We start by learning a set of node representations in an unsupervised fashion. Graph nodes are mapped into node sequences sampled from random walk approaches approximated by the Gumbel-Softmax distribution. Recurrent neural network (RNN) units are modified to accommodate both the node representations as well as their neighborhood information. Experiments on standard graph classification benchmarks demonstrate that our proposed approach achieves superior or comparable performance relative to the state-of-the-art algorithms in terms of convergence speed and classification accuracy. We further illustrate the effectiveness of the different components used by our approach.

연구 동기 및 목표

• 기계 학습 작업에서 크기가 변하는 그래프에 대한 효과적이고 일반화 가능한 그래프 수준 표현을 학습하는 데 도전하는 것.
• 비지도 노드 표현 학습과 RNN 기반의 지도 학습 시퀀스 모델링을 결합하여 분류 성능을 향상시키는 것.
• 역전파를 통해 노드 임베딩과 노드 시퀀스 샘플링을 공동 최적화하는 미분 가능한 프레임워크를 개발하는 것.
• 노드 표현의 품질과 노드 시퀀스 순서가 그래프 표현 학습에 미치는 영향을 조사하는 것.
• 기존 최신 기준 수준의 방법들보다 그래프 분류 정확도와 수렴 속도에서 뛰어난 성능을 내는 것.

제안 방법

• 노드 특성과 국소 그래프 구조를 모두 포함하는 연속적 백업-오브-워즈(CBOW)-기반 방법을 활용해 비지도 방식으로 노드 표현을 학습한다.
• 매개변수화된 랜덤 워크 과정을 통해 노드를 시퀀스로 매핑하며, Gumbel-Softmax 분포를 사용해 근사함으로써 미분 가능한 샘플링을 가능하게 한다.
• 아키텍처적 수정을 통해 이웃 정보를 통합하면서도, 특정한 LSTM 유닛을 활용한 수정된 RNN 아키텍처가 노드 임베딩의 시퀀스를 처리한다.
• 그래프 레이블에 대한 지도 학습 목표를 사용해 RNN과 랜덤 워크 매개변수를 역전파를 통해 공동으로 훈련한다.
• 사전에 학습된 노드 임베딩에서 유도된 국소 구조 정보와 샘플된 시퀀스를 통해 RNN이 포착한 장거리 의존성을 통합한다.
• 노드 임베딩과 시퀀스 샘플링을 포함한 전체 파이프라인은 엔드 투 엔드로 미분 가능하며, 모든 구성 요소의 공동 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 크기가 변하는 그래프에서 효과적으로 그래프 수준 표현을 학습할 수 있는 미분 가능한 RNN 기반 프레임워크가 가능한가?
• RQ2 노드 특성과 구조에서 유도된 노드 임베딩의 품질이 그래프 분류 성능에 어떤 영향을 미치는가?
• RQ3 Gumbel-Softmax를 활용한 매개변수화된 랜덤 워크 샘플링은 BFS나 DFS와 같은 고정 순서 방법보다 표현 학습 성능을 향상시키는가?
• RQ4 노드 시퀀스 순서가 RNN 기반 그래프 모델의 성능에 어느 정도의 영향을 미치는가?
• RQ5 노드 임베딩과 시퀀스 샘플링의 공동 최적화가 기존 최신 기준 수준의 방법보다 더 빠른 수렴과 높은 정확도를 달성할 수 있는가?

주요 결과

• GraphLSTM는 ENZYMES와 MUTAG를 포함한 다섯 개의 벤치마크 데이터셋에서 최신 기준 수준 또는 그 이상의 분류 정확도를 달성한다.
• ENZYMES와 MUTAG 데이터셋에서 GraphLSTM는 DE-MF 기준보다 유의미하게 더 빠른 수렴 속도를 보이며, 훈련 효율성이 향상됨을 입증한다.
• 노드 특성과 그래프 구조를 모두 포함하는 사전 학습된 노드 임베딩은 원-핫 또는 무작위 초기화된 임베딩보다 크게 승리한다.
• 매개변수화된 랜덤 워크와 Gumbel-Softmax는 BFS, DFS 및 무작위 순서와 같은 고정 순서 방법보다 높은 분류 정확도를 기록한다.
• 노드의 무작위 순서는 가장 열 劣한 성능을 보이며, 시퀀스에서 구조적 근접성을 유지하는 것이 효과적인 표현 학습에 필수적임을 시사한다.
• 제거 분석 결과, 노드 표현의 품질과 시퀀스 샘플링 전략이 전체 모델 성능에 결정적인 영향을 미친다는 것이 확인되었다.